Advarer om ondsinnede KI-svermer som kan true demokratiet vårt

– De kommende årene vil være avgjørende for om vi lykkes med å bekjempe den neste generasjonen av KI-drevne påvirkningsoperasjoner, sier SINTEF-forsker Daniel Thilo Schroeder.

Sammen med BI-professor Jonas R. Kunst står han som hovedforfatter av en artikkel i Science, et av verdens mest anerkjente og innflytelsesrike vitenskapelige tidsskrifter.

Får deg til å tro at «alle andre» mener noe

Sammen med tidligere fredsprisvinner Maria Ressa og akademikere fra åtte forskjellige land – blant annet fra Yale og Harvard i USA og Oxford og Cambridge i Storbritannia – beskriver forskerne hvordan kommende «KI-svermer» kan gjøre mer enn å bare spre propaganda: De kan infiltrere digitale plattformer, fremstå som mange forskjellige og tilsynelatende ekte personer, lære seg spesifikke kulturelle koder og slang – og bruke disse til å «gli inn», vinne tillit og skreddersy budskap.

– Utfordringen er ikke lenger bare falske nyheter, men at selve grunnlaget for den demokratiske samtalen – uavhengige stemmer – kan bryte sammen når én aktør kan kontrollere tusenvis av unike, KI‑skapte profiler, sier BI-professor Jonas R. Kunst.

I artikkelen beskriver forskerne hvordan disse KI-svermene kan skape en illusjon om at «alle er enige», som igjen kan påvirke din egen mening. De store språkmodellene og KI-agentene blir stadig mer avanserte, så å avsløre dem vil bli vanskeligere enn det har vært fram til nå.

– I stedet for å gjenta et ferdig manus, itererer svermene. Det betyr at de tester mange varianter mot publikum, måler respons og forsterker det som fungerer best, forklarer Daniel Thilo Schroeder.

Simulering kan bli vårt beste forsvar

For å forsvare oss anbefaler forskerne blant annet at vi slutter å jage enkeltkontoer, og i stedet retter innsatsen mot de underliggende økonomiske drivkreftene bak manipuleringen.

I tillegg til andre grep, som å styrke merkingen av hva som er KI og hva som er ekte, mener de at et av de mest effektive tiltakene vil være å simulere disse angrepene lenge før de kommer – men også å øve kontinuerlig på dem. Alt for å forstå og forutsi hvordan disse KI-svermene opererer og tilpasser seg, og på den måten finne verktøy for å avsløre dem og gjøre det vanskeligst mulig for de som ønsker å bruke dem til onde handlinger.

Schroeder i SINTEF har startet med slike simuleringer av svermer i konrollerte forhold og mener at dette er noe som på sikt kan gi oss den innsikten vi trenger for å skape et solid forsvar.

– Målet er å gjøre manipulering så kostbart og sårbart at koordinerte falske kampanjer raskt kollapser og ikke lønner seg, sier Schroeder.

Faktaboks

Artikkelen beskriver fem sentrale egenskaper ved slike KI‑svermer:

1. «Kube»-koordinering
I stedet for én sentral datamaskin samarbeider tusenvis av KI‑personaer, altså falske identiteter, som en kube. De kan endre narrativer i sanntid og til og med utvikle egne interne «sosiale normer», noe som gjør dem vanskeligere å oppdage.

2. Strategisk infiltrasjon
Disse svermene kartlegger sosiale nettverk for å finne sårbare grupper. De bruker spesifikke kulturelle koder, slang og skreddersydde budskap for å «gli inn» og vinne tillit.

3. Menneskelignende etterligning
De benytter fotorealistiske profilbilder og naturlig språk for å omgå sikkerhetsfiltre. Ved å unngå repeterende mønstre lurer de deteksjonssystemer til å tro at kontoene er uavhengige, ekte mennesker.

4. Optimalisering i maskinhastighet
KI‑systemene gjennomfører kontinuerlig millioner av små «mikrotester» på publikum. De identifiserer hvilke formuleringer, budskap og påstander som skaper størst engasjement, og sprer umiddelbart de mest effektive variantene på tvers av nettet.

5. Permanent tilstedeværelse
I motsetning til enkeltstående propagandakampanjer er disse svermene alltid aktive. De kan forbli integrert i digitale fellesskap i årevis og gradvis, subtilt endre språk, symboler og identitet i gruppen.

Ønsker du tilgang til hele artikkelen fra Science? Ta kontakt med kommunikasjonssjef Aksel Faanes Persson.