Folk er virkelig dårlige til at opdage AI-genererede Deepfake-stemmer

Tests viser, at når folk hører optagelser af ægte stemmer og AI-skabte, undlader de for det meste ikke at få øje på forfalskning

Det er svært at skelne rigtige stemmer fra AI-genererede

Folk kan ikke længere pålideligt adskille AI og menneskelige stemmer fra hinanden, undtagen i eksempler på tale i samtale-stil eller med velkendte stemmer, såsom venner eller familie.

At gengive menneskelige stemmer ved hjælp af kunstig intelligens har længe været et forskningsmål, for eksempel for at hjælpe mennesker, der mister evnen til at tale, men indtil for nylig har folk for det meste været i stand til at genkende en AI-genereret stemme. I 2023 fandt forskere, at engelske og mandarinhøjttalere kunne skelne mellem reelle og dybfake -stemmer omkring 70 procent af tiden.

Men Hany Farid ved University of California, Berkeley og hans kolleger har vist, at de bedste AI -stemmegeneratorer nu er meget sværere at få øje på. Resultaterne vil øge frygt for risikoen for svindel, der involverer falske stemmer.

”Du synes, du er god til (fortæller forskellen), men det er du ikke,” siger Farid. ”Jeg kan ikke fortælle dig, hvor mange mennesker jeg taler med, der siger til mig, ‘Jeg kan se forskellen mellem AI eller ej, det er virkelig let.’ Du tager fejl. ”

Farid og hans team brugte AI Company ElevenLabs ‘stemmekloningssoftware til at gentage et datasæt med virkelige menneskelige stemmer fra 220 engelsktalende fra USA. De omfattede mennesker med forskellige racer og køn, der hver svarede på 32 forskellige prompter, lige fra en-sætningssvar på omkring et sekund til længere og uskrevne svar på næsten et minut.

Derefter lyttede mere end 600 mennesker til forskellige par af lignende klingende rigtige stemmer og AI-stemmer, uden at få at vide, at AI var involveret, før de blev spurgt, om de kunne fortælle, om to stemmer var fra den samme kilde. Deltagerne troede, at en rigtig stemme og en AI-genereret klonet stemme var de samme omkring 80 procent af tiden.

Da forskerne bad folk om at gætte, om en stemme var reel eller AI-genereret, svarede de frivillige korrekt omkring 60 procent af tiden eller lige over tilfældet. Imidlertid var folk bedre til at opdage en AI -stemme, da taleprøven var længere eller mindre scriptet sammenlignet med kortere, læste svar.

”Vi er på et punkt nu, hvor der er avancerede dybfake-stemmer, der er tilstrækkeligt menneskelige i deres kvaliteter til at være (ikke skelne) fra ægte menneskelige optagelser,” siger Carolyn McGettigan ved University College London.

I en separat undersøgelse fandt McGettigan og hendes kolleger også, at folk kæmpede for at skelne mellem AI og menneskelige stemmer og gjorde omtrent såvel som en tilfældig gæt. Men når de lytter til en stemme, de kendte godt, såsom et familiemedlem, var de meget bedre til at opdage dybfakes.

Falske stemmer vil sandsynligvis være endnu sværere at opdage i virkelige situationer sammenlignet med den kontrollerede indstilling af et eksperiment, siger Farid. ”Dette er den bedst mulige situation. De sidder derhjemme, de ved, at de kører et eksperiment, de er opmærksomme, de får betalt for deres tid. Det er ikke et hektisk opkald kl. 2 om morgenen.”

Mens der er statistiske værktøjer og AI-drevne detektorer, der kan hjælpe med at identificere en AI-stemme fra en optagelse, er dette meget sværere at gøre med en levende stemme, så den bedste beskyttelse mod AI-stemmesvindel er at blive enige om en adgangskode med dine venner og familie, siger Farid. “Din familie skal have en hemmelig adgangskode, og når nogen ringer, spørger du dem, hvad adgangskoden er.”