En hjerne-computergrænseflade har gjort det muligt for en mand med lammelse at have realtidssamtaler uden den sædvanlige forsinkelse i tale
En mand med lammelse er forbundet til hjernekomputer-interface-systemet
En mand, der mistede evnen til at tale, kan nu afholde samtaler i realtid og endda synge gennem en hjerne-kontrolleret syntetisk stemme.
Brain-computergrænsefladen læser mandens neurale aktivitet via elektroder implanteret i hans hjerne og genererer derefter øjeblikkeligt talelyde, der afspejler hans tilsigtede tonehøjde, intonation og vægt.
”Dette er slags den første af sin art til øjeblikkelig stemmesyntese – inden for 25 millisekunder,” siger Sergey Stavisky ved University of California, Davis.
Teknologien skal forbedres for at gøre talen lettere at forstå, siger Maitreyee Wairagkar, også på UC Davis. Men manden, der mistede evnen til at tale på grund af amyotrofisk lateral sklerose, siger stadig, at det gør ham “glad”, og at det føles som hans rigtige stemme, ifølge Wairagkar.
Tal neuroproteser, der bruger hjerne-computergrænseflader, findes allerede, men disse tager generelt flere sekunder at omdanne hjerneaktivitet til lyde. Det gør naturlig samtale hård, da folk ikke kan afbryde, afklare eller reagere i realtid, siger Stavisky. ”Det er som at have en telefonsamtale med en dårlig forbindelse.”
For at syntetisere tale mere realistisk implanterede Wairagkar, Stavisky og deres kolleger 256 elektroder i de dele af mandens hjerne, der hjælper med at kontrollere de ansigtsmuskler, der bruges til at tale. Derefter på tværs af flere sessioner viste forskerne ham tusinder af sætninger på en skærm og bad ham om at prøve at sige dem højt, nogle gange med specifikke intonationer, mens han optog hans hjerneaktivitet.
”Ideen er, at du for eksempel kunne sige,” Hvordan har du det i dag? ” eller ‘Hvordan har du det i dag? ”, Og det ændrer semantikken i sætningen,” siger Stavisky. ”Det giver en meget rigere, mere naturlig udveksling – og et stort skridt fremad sammenlignet med tidligere systemer.”
Dernæst fodrede teamet disse data til en kunstig intelligensmodel, der blev trænet til at forbinde specifikke mønstre af neurale aktiviteter med de ord og bøjninger, som manden forsøgte at udtrykke. Maskinen genererede derefter tale baseret på hjernesignalerne og producerede en stemme, der reflekterede både det, han havde til hensigt at sige, og hvordan han ville sige det.
Forskerne trænede endda AI på stemmeoptagelser fra før mandens tilstand skred frem ved hjælp af stemmekloningsteknologi til at få den syntetiske stemme til at lyde som hans egen.
I en anden del af eksperimentet fik forskerne ham til at prøve at synge enkle melodier ved hjælp af forskellige pladser. Deres model afkodede hans tilsigtede tonehøjde i realtid og justerede derefter den sangstemme, den producerede.
Han brugte også systemet til at tale uden at blive bedt om og til at producere lyde som “hmm”, “eww” eller sammensatte ord, siger Wairagkar.
”Han er en meget artikuleret og intelligent mand,” siger teammedlem David Brandman, også på UC Davis. ”Han er væk fra at være lammet og ikke i stand til at tale med at fortsætte med at arbejde på fuld tid og have meningsfulde samtaler.”