Samarbejde kan være en smuk ting, især når folk arbejder sammen for at skabe noget nyt. Tag for eksempel et langvarigt samarbejde mellem Arka Majumdar, et University of Washington (UW) professor i elektrisk og computerteknik og fysik, og Felix Heide, en adjunkt i datalogi ved Princeton University.
Sammen har de og deres studerende produceret nogle iøjnefaldende forskning, herunder at skrumpe et kamera ned til størrelsen på et saltkorn, mens de stadig fanger sprøde, klare billeder.
Nu bygger paret på dette arbejde, udgiver et papir i Videnskab fremmer Det beskriver en ny slags kompakt kamera, der er konstrueret til computervision – en type kunstig intelligens, der giver computere mulighed for at genkende objekter i billeder og video.
Majumdar og Heides forskningsprototype bruger optik til computing, reducerer strømforbruget markant og gør det muligt for kameraet at identificere objekter med lysets hastighed. Deres enhed repræsenterer også en ny tilgang til computersynets felt.
“Dette er en helt ny måde at tænke på optik, som er meget forskellig fra traditionel optik. Det er et end-to-end-design, hvor optikken er designet i forbindelse med beregningsblokken,” sagde Majumdar. “Her erstattede vi kameralinsen med konstrueret optik, som giver os mulighed for at sætte en masse af beregningen i optikken.”
“Der er virkelig brede anvendelser til denne forskning, fra selvkørende biler, selvkørende lastbiler og andre robotik til medicinsk udstyr og smartphones. I dag har hver iPhone AI eller vision-teknologi i det,” tilføjede Heide, der var den vigtigste efterforsker og seniorforfatter af papiret.
“Dette arbejde er stadig på et meget tidligt tidspunkt, men alle disse applikationer kunne en dag drage fordel af det, vi udvikler.”
Heide og hans studerende på Princeton leverede designet til kameraets prototype, som er en kompakt, optisk computerchip. Majumdar bidrog med hans ekspertise inden for optik til at hjælpe med at konstruere kameraet, og han og hans studerende fremstillede chippen i Washington Nanofabrication Laboratory.
UW-siden af dette multi-institutionelle forskerteam omfattede Johannes Froech, en postdoktorisk lærd ved University of Washington Department of Electrical & Computer Engineering (UW ECE) og James Whitehead (Ph.D.), som var UW ECE-doktorgradstuderende i Majumdars laboratorium, da denne forskning fandt sted.
Udskiftning af et kameralinse med konstrueret optik
I stedet for at bruge en traditionel kameralinse lavet af glas eller plast, er optikken i dette kamera afhængig af lag på 50 meta-linser-flade, lette optiske komponenter, der bruger mikroskopiske nanostrukturer til at manipulere lys. Meta-linserne fungerer også som et optisk neuralt netværk, som er et computersystem, der er en form for kunstig intelligens, der er modelleret på den menneskelige hjerne.
Denne unikke tilgang har et par vigtige fordele. Først er det hurtigt. Da meget af beregningen finder sted med lysets hastighed, kan systemet identificere og klassificere billeder mere end 200 gange hurtigere end neurale netværk, der bruger konventionel computerhardware og med sammenlignelig nøjagtighed. For det andet, fordi optikken i kameraet er afhængig af indgående lys til at betjene, snarere end elektricitet, reduceres strømforbruget kraftigt.

“Vores idé var at bruge noget af det arbejde, som Arka var banebrydende på metasurfaces for at bringe nogle af de beregninger, der traditionelt udføres elektronisk i optikken med lysets hastighed,” sagde Heide. “Ved at gøre det producerede vi et nyt computervisionssystem, der udfører en masse af beregningen optisk.”
Majumdar og Heide siger, at de agter at fortsætte deres samarbejde. De næste trin til denne forskning inkluderer yderligere iterationer, der udvikler prototypen, så det er mere relevant for autonom navigation i selvkørende køretøjer.
Dette er et applikationsområde, som de begge har identificeret som lovende. De planlægger også at arbejde med mere komplekse datasæt og problemer, der tager større computerkraft til at løse, såsom objektdetektion (lokalisering af specifikke objekter inden for et billede), hvilket er en vigtig funktion for computervision.
“Lige nu er dette optiske computersystem en forskningsprototype, og det fungerer til en bestemt applikation,” sagde Majumdar. “Vi ser imidlertid, at det til sidst bliver bredt anvendeligt for mange teknologier. Det er selvfølgelig stadig at se, men her demonstrerede vi det første skridt. Og det er et stort skridt fremad sammenlignet med alle andre eksisterende optiske implementeringer af neurale netværk “