První pořádný rozhovor se zaměstnancem Neuralinku. Firma chce překonat rekord v psaní textu myšlenkami

Dočkali jsme se. Na webu IEEE Spectrum vyšel první oficiální rozhovor s někým z Neuralinku. Tedy pokud nepočítáme Elona Muska. Firma byla založena v červenci roku 2016. Trvalo tedy pět let, než dovolila některému ze svých zaměstnanců, aby poskytl oficiální rozhovor o tom, co ve firmě dělá. Proč tak dlouho? Jiné Muskovy firmy se zdají být mnohem otevřenější, i když většinu informací rovněž pouští na svět Elon hlavně prostřednictvím Twitteru. Jde nejspíše o kontroverznost celého oboru neurotechnologie a neurálních rozhraní. O problémech s nimi souvisejícími jsme nedávno publikovali celou sérii článků. Neuralink musí být skutečně opatrný v tom, co a jakým způsobem sděluje veřejnosti. Nevím, jestli nejlepším způsobem sdílení informací je zrovna twitterový účet Muska, ale zatím to tak funguje.

Nejlepší ale je, že nejde o žádný plytký článek, ze kterého bychom se nic moc nedozvěděli, ale o odborný rozhovor, který jde skutečně do hloubky. Dotazovaný inženýr, Joseph O’Doherty, prozrazuje mnoho o tom, v jaké fázi vývoje se teď Neuralink nachází, jak vypadá vyvíjený hardware a software a kde jsou jeho limity.

Joseph O’Doherty (s mikrofonem) na prezentaci Neuralinku v roce 2020 (Zdroj: YouTube/Neuralink)

IEEE Spectrum

Rozhovor vyšel na webu IEEE Spectrum. IEEE je Institut sdružující elektrotechnické a elektronické inženýry (angl. Institute of Electrical and Electronics Engineers). Jde o neziskovou profesní organizaci usilující o vzestup technologie související s elektrotechnikou. Má přes 400 000 členů ve 175 zemích po celém světě a její centrála se nachází v USA ve státě New Jersey.

IEEE Spectrum pak je magazín a web této organizace. Jeho cílem je informovat členy IEEE o hlavních trendech a vývoji v oblasti technologií, strojírenství a vědy.

Joseph O’Doherty

Joseph O’Doherty (Zdroj: LinkedIn)

Odkazy: webLinkedIn | NIH | Neurotree

Neurovědec Joseph O’Doherty působí v Neuralinku od roku 2017. Mohli jsme ho vidět a slyšet také na prezentaci pokroku Neuralinku v srpnu minulého roku. Momentálně je šéfem týmu, který se zabývá interpretací mozkových signálů (angl. brain signals team). V letech 2011–2017 působil na Kalifornské univerzitě v San Francisku, kde spolupracoval s jiným (dnes již bývalým) zaměstnancem Neuralinku, Philipem Sabesem. Předtím studoval na Duke University pod vedením slavného průkopníka neurálních rozhraní Miguela Nicolelise, se kterým je, stejně jako s Philipem Sabesem, podepsán pod několika vědeckými studiemi.

Boj Neuralinku o překonání rekordu v psaní textu myšlenkami

Takový je ve volném překladu název článku na IEEE Spectrum. Autorka Eliza Strickland, která pro zmíněný magazín píše zejména o tématech jako neurověda a umělá inteligence, ještě přidala podtitulek: „Inženýr komentuje krátko- i dlouhodobé cíle společnosti vyvíjející mozkové implantáty“.

Autorka článek začíná trochu přízemně. Označuje za absurdní všechna tvrzení Elona Muska týkající se Neuralinku a jeho dlouhodobých cílů a možností. Soudí, že nemá smysl mluvit o léčbě deprese nebo symbióze s umělou inteligencí, jestliže firma ještě ani nezačala s testy na lidech. Osobně nevidím důvod, proč by Musk nebo kdokoliv jiný nemohl mluvit o tom, kam Neuralink míří. Všechny Elonovy firmy mají velké cíle. Neuralink není výjimkou.

V první otázce se autorka O’Dohertyho ptá na bezprostřední krátkodobý cíl Neuralinku. On potvrzuje, že firma nejprve chce vyvinout zařízení, díky kterému by paralyzovaní jedinci mohli komunikovat se světem prostřednictvím virtuální myši a klávesnice. Cílem je stejná rychlost psaní textu, jakou mají zdraví jedinci. V jeho dosažení jim má pomoci také to, že mohou stavět na výsledcích mnoha předchozích výzkumů.

Pokud jde o onen světový rekord…

…tak zde začínají superzajímavé informace, kterých je v článku dost a dost. Tabulka, ve které můžete najít srovnání statistik v tomto oboru, se jmenuje „Úvahy k výkonu neurálních rozhraní určených pro dekódování psaní na klávesnici, včetně rozhraní specializovaných pro detekci textu z rukopisu“ (angl. Performance Considerations for General-Purpose Typing BCIs, Including the Handwriting BCI). Můžete ji najít zde a aktualizuje ji Krishna Shenoy, významný neurovědec z univerzity ve Stanfordu. Díky jinému neurovědci ze stejné univerzity, Paulu Nuyujukianovi, který nedávno podrobně rozebral jedno z videí Neuralinku, víme, že Shenoy je v Neuralinku externím poradcem.

V dokumentu můžeme najít informace o tom, že momentální nejlepší výkony pro lidské uživatele jsou:

  • 16,06 cwpm
  • 6,18 bitů za sekundu

Tabulka srovnávající výsledky studií na lidech (Zdroj: Krishna Shenoy, Stanford University)

Pro primáty, uváděné v tabulce jako NHP (angl. non-human primate), pak nejlepší výkony vypadají následovně:

  • 16,88 cwpm
  • 6,49 bitů za sekundu

Tabulka srovnávající výsledky studií na primátech (Zdroj: Krishna Shenoy, Stanford University)

Jednotka „cwpm“ znamená anglicky „correct words per minute“, jde tedy o počet správně napsaných slov za minutu. Tato hodnota je pochopitelná pro lidské subjekty, ale jak je to s primáty? Joseph O’Doherty k tomu uvádí: „Primáti samozřejmě neumí mluvit ani číst, čili si zde musíme poradit jinak. Opice jsou schopny (místo slov) přepisovat řetězce různých znaků. My je pak můžeme motivovat, aby to dělaly co nejrychleji a měřit jejich výkony.“

Bitrate čili počet bitů za sekundu se zde počítá dost komplikovaně. Bližší informace jsou uvedeny ve zmíněném dokumentu.

Držitelem rekordu pro lidské uživatele je Francis R. Willet a jeho skupina z univerzity ve Stanfordu, se kterou vyvinul neurální rozhraní detekující znaky z „rukopisu“ paralyzovaného jedince, jenž nehýbe rukou, ale jen myslí na to, že dané znaky píše.

Rekord v pokusech na primátech pak drží Jonathan Kao z Kalifornské univerzity (UCLA) společně s našim známým Paulem Nuyujukianem, kteří s různými svými experimenty obsadili prakticky všechna místa v tabulce. Jediným jiným účastníkem je zde právě Neuralink, a to konkrétně s makakem Pagerem z populárního videa, ve kterém hrál Pong.

Vlákna a elektrody

Joseph O’Doherty v rozhovoru zmiňuje problém robustnosti jejich zařízení, konkrétně implantovaných elektrodových vláken. Velkou komplikací je vyrobení takových vláken, která by byla co nejmenší (čili co nejméně překážela organismu) a zároveň byla co nejodolnější a měla co největší životnost (což obvykle vyžaduje větší tloušťku nebo vícevrstevnou strukturu). O’Doherty uvádí také zajímavou věc: „V odborných publikacích čteme o jiných flexibilních rozhraních, ale ty obvykle fungují jen několik hodin, kdy jsou s nimi prováděny experimenty. Naše zařízení musí vydržet mnohem déle.“ Velmi by mě zajímalo, o jakých přístrojích zde mluví.

Příklady různých prototypů elektrodových vláken Neuralinku (Zdroj: Neuralink)

A jak přesně vypadá současná verze vláken? Na každém vlákně je 16 elektrod rozmístěných ve vzdálenosti 200 mikronů od sebe. Předchozí verze měly elektrody na vláknech osazeny blíže u sebe (i pouhých 20 mikronů). Důsledkem toho ale bylo, že stejné signály jednoho neuronu byly detekovány více elektrodami. To by bylo dobré, pokud by Neuralink dělal samotnou neurovědu – bylo by možné dokonale charakterizovat jednotlivé neurony. Vyžadovalo by to ale navíc ještě větší hustotu vláken v dané oblasti mozku a v důsledku také mnohem větší spotřebu elektrické energie. To si zatím Neuralinku nemůže dovolit.

Současný design – 16 elektrod na každém z 64 vláken – tedy eliminuje redundantní signály. Neuralink však paralelně testuje i jiné konfigurace – 128×8 a 256×4.

Vlákna jsou zakončena v implantovaném pouzdře s procesorem, jinou elektronikou, baterií a vysílačem. Procesor je rozdělen na 4 jádra, z nichž každé obsluhuje 256 elektrod.

O’Doherty potvrzuje, že hardware se neustále vyvíjí, ale Neuralink také musí mít určité fixní, velmi dobře popsané verze, aby bylo možné testovat jejich bezpečnost. Tyto verze už se pak příliš nemění a pokud se změní, musí znovu projít testy.

Detekce vzruchů

Neuralink postupem času měnil svůj přístup k detekci vzruchů (angl. spike). Musel najít rovnováhu mezi dvěma extrémy:

  1. Příliš detailní detekce: Každá elektroda může registrovat aktivitu více neuronů. Pro neurovědu je důležitá nejen detekce samotných vzruchů, ale také určení, který konkrétní neuron daný vzruch vyslal. To je však velmi těžký výpočetní úkol, který klade velké nároky na výkon hardwaru.
  2. Příliš obecná detekce: Pokud není nutné určování konkrétních neuronů, stačí jednoduše nastavit prahy (angl. threshold) elektrického napětí. Každé překročení daného prahu je pak bráno jako vzruch. Takový přístup však může být velmi nepřesný.

Vzruchový rastr (Zdroj: Neuralink)

Oba extrémy jsou nevhodné pro rozhraní Neuralinku. Detailní detekce vyžaduje příliš mnoho výpočetní kapacity, kterou je těžké vměstnat do malého implantovaného pouzdra. Nastavení prahů je příliš náchylné na rušení, protože v mozku probíhá mnoho jiných procesů, které mohou způsobit překročení nastavených prahů. Neuralink tedy volí zlatou střední cestu – pomocí strojového učení porovnává přesné geometrické tvary detekovaných vzruchů a hledá ty, které s určitostí pocházejí od neuronů.

Dřívější verze rozhraní, která ještě nepoužívala bezdrátové připojení a mohla tedy vysílat více dat, prováděla toto zpracování zaznamenaných informací ve svých externích částech. Díky tomu Neuralink nalezl nejvhodnější algoritmus, což by na bezdrátových zařízeních bylo mnohem obtížnější. Daný algoritmus pak byl implementován do čipu v pouzdře a zpracování vzruchů tak dnes může být prováděno přímo v implantátu.

Jaká data tedy zařízení vysílá?

Vzruchy jsou detekovány v 25milisekundových oknech. Ven z interfejsu je vysílána pouze informace o tom, kolik impulzů každá z 1024 elektrod v těchto oknech zaznamenala. O’Doherty říká, že pro zapsání počtu impulzů v okně jim stačí 4 bity, což znamená 0–15 vzruchů v jednom okně. Takových oken je v jedné sekundě 40. Vynásobíme-li to (4 bity x 40 oken x 1024 elektrod) dostaneme 163 840 kilobitů za sekundu, což děleno 8 dává 20,48 kilobajtů za sekundu. Datový tok tedy není příliš velký. Je to tím, že detekce vzruchů a všechny výpočty jsou prováděny přímo v implantované jednotce.

The Link v0.9 (Zdroj: Neuralink)

To, že dat z rozhraní je přenášeno málo, má také význam z hlediska toho, že systém funguje v uzavřeném koloběhu. Nejde o jednorázové akce, ale o nepřetržitý koloběh, ve kterém jsou data neustále přenášena. Celý proces, aby zařízení bylo k něčemu, musí probíhat v reálném čase. Důležitá je rychlost všech komponentů. Pokud uživateli podobného zařízení například hodíte míč a rozhraní bude potřebovat 5 sekund na provedení pohybu paže (ať už jeho nebo robotické), bude to celé k ničemu.

Jak překonat světový rekord?

Prvním krokem k překonání rekordu je podle O’Dohertyho eliminování všech zdrojů zpoždění. To vzniká například při detekci signálů, jejich zpracování na čipu, při paketizaci pro Bluetooth nebo třeba i při zobrazování pixelů kurzoru na monitoru počítače.

Druhým krokem je zdokonalení samotného dekodéru vzruchů, přesněji řečeno jeho modelu strojového učení (angl. machine/deep learning). Model může být velmi jednoduchý nebo velmi složitý. Neuralink však má velmi konkrétní omezení. Dekodér musí fungovat rychle, čili model nemůže být příliš komplikovaný. Dekódování je prováděno v implantátu, takže nároky na hardware musí být minimální. Úkolem specialistů Neuralinku je tedy nalezení optimálního přístupu.

Důležitá je také rychlost počáteční kalibrace dekodéru. Neuralink nechce, aby uživatel musel zařízení kalibrovat příliš dlouho nebo ho musel čas od času rekalibrovat. Dlouhodobým cílem je vytvořit zařízení, které by se kalibrovalo samo.

Jak být ještě rychlejší?

O’Doherty vidí jako velký krok kupředu eventuální detekci „klikání“, neboli označení nějakého objektu, tak jako klikáme tlačítky na počítačové myši. V současnosti je kliknutí detekováno, když se kurzor ovládaný uživatelem s neurálním rozhraním zastaví na stejném místě po určitou specifikovanou dobu, například 0,2 sekundy. To výrazně zpomaluje celý proces „psaní“ textu nebo jiné úkoly, které vykonává daný subjekt. Přímá detekce kliknutí by tyto činnosti výrazně uspíšila.

Podle analýzy videa Neuralinku s makakem Pagerem, o které jsme psali dříve, se zdá, že rozhraní je již skutečně schopné detekovat kliknutí.

Makak Pager hrající Pong s použitím rozhraní Neuralinku (Zdroj: Neuralink)

Jinou možnost, jak v budoucnosti uspíšit práci rozhraní, by mohl poskytnout opět machine learning a algoritmy umělé inteligence. Interfejs by se mohl naučit předvídat pohyby kurzoru podobně jako mobilní telefony předvídají, co chcete napsat v textové zprávě. Zde se však již dostáváme na šikmou plochu zvanou problém autenticity jednání, o kterém jsme psali například zde. Výsledkem takového systému totiž je to, že uživatel není tak úplně autorem toho, co dělá. To je jistě zajímavým problémem z hlediska psychologie, filosofie nebo i práva. Dodejme ještě, že Neuralink není jedinou organizací experimentující s podobným využitím strojového učení (více informací zde).

Znamená tento rozhovor větší otevřenost Neuralinku?

Není to poprvé, co ve svých článcích opakuji podobnou otázku. Snad by to ale mohlo být naposled. Rozhovor IEEE Spectrum s Josephem O’Dohertym je každopádně slibnou „první vlaštovkou“. Vedení Neuralinku určitě muselo vydání tohoto textu a jeho přesnou podobu schválit. I přesto jde do solidní hloubky a přináší dost nových zajímavých informací. To také může nasvědčovat tomu, že by firma mohla být čím dál transparentnější.




Mohlo by se vám líbit...

Odebírat komentáře
Nastavit upozorňování na
guest
4 Komentáře
nejstarší
nejnovější nejlepší
Inline Feedbacks
Zobrazit všechny komentáře
Premek

Pěkný článek, díky!

Badman

Přidávám se s díkem.

páter sojový kapitán Federico

Napadlo mě, že fanoušky Neuralinku by mohla bavit knižní serie Hyperion. Nechci to příliš vyspoilovat, nemohu tedy být konkrétní.