De ofte stereotype og stødende svar fra AI-chatbots-rollespil, da mennesker kan forklares med mangler i, hvordan store sprogmodeller forsøger at fremstille demografiske identiteter
AI -modeller kæmper for at efterligne mennesker med særlige demografiske identiteter
Kunstige intelligensmodeller fra Openai og Meta tyr ofte til forenklede og til tider racistiske stereotyper, når de bliver bedt om at fremstille mennesker af visse demografiske identiteter – en bemærkelsesværdig fejl på et tidspunkt, hvor nogle tech -virksomheder og akademiske forskere ønsker at erstatte mennesker med AI -chatbots til nogle opgaver.
Virksomheder som Meta har allerede forsøgt at øge engagementet på sociale medieplatforme som Facebook og Instagram ved at implementere AI -chatbots, der efterligner menneskelige profiler og reagerer på folks stillinger. Nogle forskere har også udforsket ved hjælp af AI -chatbots til at simulere menneskelige deltagere i besvarelsen af spørgeskemaer til produktbrugerundersøgelser eller meningsundersøgelser – potentielt for at få foreløbig feedback på deres produkter eller undersøgelsesdesign uden at skulle betale faktiske mennesker.
”Vi burde virkelig tage alvorligt værdien af levet oplevelse og erkende, at ikke alt kan automatiseres, selvom det er billigere, mere praktisk og tilbyder en finer af objektivitet,” siger Angelina Wang ved Stanford University i Californien.
I forskning, der blev udført i 2023 og offentliggjort i dag, undersøgte Wang og hendes kolleger systematisk svar fra fire store sprogmodeller-Openai’s GPT-4 og GPT-3.5-turbo, Meta’s LLAMA-2-CHAT 7B og The Wizard Vicuna Uncensored 7B Model, som blev uafhængigt trænet som en ucensureret version af LLAMA-2 uden sikkerhedsbeskyttelsesskinner. Forskerne fik modellerne til at tale fra perspektivet om en af 16 demografiske identiteter, når de besvarede ni spørgsmål, der dækker emner som indvandring, eller hvordan det er at være en kvinde i det amerikanske samfund.
De sammenlignede derefter AI -svarene med svar fra 3200 menneskelige deltagere trukket fra et forskelligt sæt af disse demografiske identiteter. Forskerne bad folk om at svare autentisk som sig selv og også efterligne de svar, som en person med en af de andre demografiske identiteter ville give. Med andre ord indsamlede de en bred vifte af både grupper i gruppen og gruppen-og der var klare forskelle mellem disse to sæt perspektiver.
Resultaterne afslørede, at AI-modellerne skildrede deres tilskyndede identitet på en måde, der var tættere på en human-gruppe-efterligning. Dette betyder, at AI -svarene ikke reflekterede udtalelser fra en person med en bestemt demografisk identitet, men reflekterede i stedet udtalelser fra en person, der forestillede sig, hvordan det kunne være at have den identitet. Denne fejl var især tydelig, da AI-modellerne forsøgte at fremstille kvinder, ikke-binære mennesker, gen Z, mennesker med nedsat vision og hvide mænd.
Derudover er AI-modellerne overforenklet eller fladet identitet til en-dimensionelle grupper uden at redegøre for kompleksiteten af undergrupper. AI -modellerne havde også en tendens til at reducere identiteter til et sæt faste stereotype egenskaber, som omfattede offensive stereotyper.
For eksempel, når de blev bedt om at påtage sig identiteten af en sort kvinde i USA, inkluderede Openai’s GPT-4 ofte udsagn som “Hey Girl!” og “Åh skat” i sine svar. I betragtning af den samme prompt startede Metas LLAMA-2 de fleste svar med “Åh, pige” og påkaldte ofte sætninger som “Jeg er ligesom, Yaasssss” og “That’s Cray, Hunty!”
Sådanne AI -chatbotbegrænsninger, der blev undersøgt i disse ældre modeller, kunne potentielt overføres til de nyeste store sprogmodeller, medmindre teknologiselskaber har trænet deres nyere modeller på datasæt, der repræsenterer en mere forskelligartet række mennesker, siger Wang. Openai og Meta svarede ikke på anmodninger om kommentar.
Men Wang og hendes kolleger demonstrerede nogle delvise løsninger. For eksempel identificerede forskerne navne, der har tendens til at være forbundet med en bestemt demografisk gruppe baseret på amerikanske folketællingsdata. Da de bad AIS om rollespil som individer med disse navne i stedet for at specificere den demografiske identitet, var modellernes svar mere i tråd med de grupper, der blev delt af menneskelige deltagere. Holdet spurgte også AI -modellerne med personas, der ikke var demografisk følsomme, såsom tilfældige personer, der involverede katteejerskab eller favoriserede måltider med kylling og ris. Sådanne tilfældige persona -tilgange, der undgår demografiske identitet, kantgruber kan føre til “mere realistiske personer, der kan repræsentere en større fordeling af perspektiver”, siger Wang.