Shrnutí nové prezentace Neuralinku, 4. část: Software a algoritmy
Ve čtvrté části naší série o poslední prezentaci pokroku Neuralinku si představíme novinky týkající se zlepšování způsobu dekódování neurální aktivity a zajištění, aby mozkové implantáty fungovaly spolehlivě pro každého uživatele.
Připomeňme, že v předchozích dílech už jsme se věnovali:
- prezentacím Elona Muska a DJ Sea
- vývoji hardwaru implantátu
- testům implantátu
Dekódování neurální aktivity
Téma představil Nir, šéf týmu, který se nazývá „Brain Interfaces Applications“ a řeší praktická využití neurálního rozhraní. Nir v úvodu své prezentace připomněl, co je prvním bezprostředním cílem Neuralinku, tedy umožnění ochrnutým lidem ovládat počítač. Jak toho ale firma docílí? Jedním z klíčových prvků jsou algoritmy pro dekódování aktivity mozku. Nir připomněl také video s makakem Pagerem hrajícím pomocí rozhraní hru MindPong, ve které myšlenkami ovládal počítačový kurzor. Na jeho příkladu vysvětlil, jak vypadá proces dekódování:
- nejprve implantát pomocí elektrod zaznamená neurální aktivitu
- poté je potřeba vytrénovat neuronovou síť, která předpovídá rychlost kurzoru ze vzorců zachycené aktivity mozku
- s použitím tohoto dekodéru pak Pager může ovládat kurzor myšlenkami
- se stejným dekodérem může Pager hrát i jiné hry založené na pohybu kurzoru
Schéma dekódování mozkové aktivity při vykonávání úkolů v jednoduché počítačové hře.
Nir na videu ukázal, jak Pager hrál stejnou hru počátkem roku 2021 a poté v roce 2022. Jeho hra s postupem času byla díky vylepšením algoritmu mnohem přesnější a rychlejší. Na videu byl vidět také měřený bitrate, tedy rychlost přenosu dat – v roce 2021 ukazoval hodnotu 3,0, později 7,1 (pravděpodobně bitů za sekundu) – je tedy vidět více než dvojnásobné zrychlení.
Neuralink však chce jít dále a hledá kreativní způsoby, jak rozhraní vylepšit. Zažité metody ovládání počítače, tedy klávesnici s myší, však prozatím měnit nechce. Snaží se vyvinout ekvivalenty těchto periferií, ovládané myšlenkami. Chce k tomu dojít tak, že naučí Pagera a jeho „kolegy“ vykonávat různé typy činností a vyvine algoritmy, které je budou dokonale dekódovat.
Příklady činností, které se Neuralink momentálně s použitím makaků učí pomocí svých algoritmů rozpoznávat, můžeme vidět na následujícím obrázku. Díky němu také víme, že firma už testuje své implantáty přinejmenším na šesti opicích.
Nahoře zleva: Comet – kliknutí levým a pravým tlačítkem myši, Mars – kliknutí a přetažení objektu, Sake – psaní na virtuální klávesnici pomocí kurzoru. Dole zleva: Pager – psaní tažením prstu, Ranger – ruční psaní, Hotshot – dekódování gest rukou.
Interakce s počítačem je však obousměrná. Důležitá je zde také určitá zpětná vazba. Používáme-li počítačovou myš, fyzicky cítíme kliknutí jejích tlačítek. To u neurálního rozhraní není možné. Neuralink se to snaží obejít graficky – při virtuálním „kliknutí“ kurzor na obrazovce mění barvu nebo tvar.
Na následujícím gifu můžeme vidět příklad toho, jak makakové Neuralinku „píší“ na virtuální klávesnici. Vypadá to podobně jako na telefonu se zapnutým doplňováním slov. S tím že opice samozřejmě nerozumí, co píše, jen kliká na políčka, která mění barvu.
Opice Sake „píše“ na virtuální klávesnici nápis „Welcome to show and tell“.
Takovýto způsob komunikace je poměrně rychlý a pohodlný, ale vědci Neuralinku jsou si jisti, že můžou jít ještě dále. V roce 2021 skupina vědců ze Stanfordovy univerzity (mezi nimi také nedávno zesnulý bývalý poradce Neuralinku Krishna Shenoy) představila studii, ve které dokázala dekódovat text z neurální aktivity lidí, kteří si představovali, že ručně píší písmena. Jejich metoda byla rychlejší než virtuální klávesnice.
Neuralink tento přístup testuje na svých opicích s implantáty. Ty však neumí psát, čili jim metodu museli přizpůsobit. Opice tedy opisují písmena a číslice na dotykovém displeji. Můžeme to vidět na gifu níže. Poté systém místo směru pohybu kurzoru myši dekóduje ručně psaná písmena nebo číslice.
Makak Ranger a dekódování jeho „ručního psaní“ číslic.
Problémem této metody je to, že potřebuje pro dekódování velké množství vzorů znaků (teoreticky tisíce znaků z různých jazyků nebo různého písma). Dá se to však obejít. Místo přímého dekódování znaků, rozhraní dekóduje trajektorii ruky a poté už může dekódovat konkrétní znaky s použitím jakéhokoliv systému rozpoznávání rukopisu dostupného na trhu. Výhodou tohoto přístupu je, že je tak možné dekódovat znaky jakéhokoliv jazyka nebo písma. Nejen latinku, ale klidně i hebrejské, čínské nebo japonské znaky.
Spolehlivost rozhraní
O tom, jak se Neuralink snaží zajistit, aby jeho rozhraní, stejně jako třeba myš a klávesnice, fungovalo vždy a všude, mluvil softwarový inženýr Bliss.
Prvním krokem k co možná největší spolehlivosti je intenzivní „oflajnové“, tedy laboratorní, testování. Inženýři Neuralinku k tomu stvořili systém, který simuluje mozek a vysílá připravená neurální data do implantátu umístěného v laboratoři v serverovém racku. Testovaný implantát si v podstatě „myslí“, že se nachází v hlavě opice nebo lidského uživatele. Takovéto simulované testy jsou prováděny při každé změně softwaru.
Podobné simulace jsou skvělé pro základní testy softwaru i hardwaru, ale pro zajištění vysoké spolehlivosti v reálném prostředí to nestačí. Problémem je to, že signály ve skutečném mozku se každým dnem mění. Následující obrázek znázorňuje průměrnou míru vzruchů detekovaných na jedné z elektrod implantátu v mozku opice Sake. Každý pásek představuje jeden den. Je vidět, že daná elektroda každý den detekuje úplně jiné vzruchy. Něco takového je skutečnou výzvou pro Neuralink. Je-li neurální dekodér vytrénován na datech z jednoho dne, následující den funguje špatně.
Vývoj průměrné denní detekce vzruchů na jedné z vybraných elektrod implantátu opice Sake.
Inženýři Neuralinku vyzkoušeli už mnoho způsobů jak tento problém obejít. Jedním z možných řešení je budování modelů neuronových sítí na velkých objemech dat nasbíraných za mnoho dní nebo i týdnů. Jiný přístup Bliss popsal jako „neustálé vzorkování dat z rozhraní s použitím posledních vzorků k vytvoření statistického odhadu k předběžnému zpracování příchozích dat ještě před jejich vložením do modelu.“ Vyřešení této otázky je kritické pro budoucnost rozhraní a Blissův tým na tom usilovně pracuje.
Další věcí je minimalizace času, který je potřebný, aby vzruch v mozku ovlivnil pohyb kurzoru na obrazovce. Má-li toto propojení větší zpoždění nebo přílišný jitter čili odchylku od normálu, ovládání kurzoru je obtížné.
Bliss svou prezentaci uzavřel tvrzením, že jeho tým za poslední dobu výrazně zvýšil efektivnost a stabilitu fungování implantátu a provedl mnoho úspěšných relací sběru dat s pokusnými opicemi Neuralinku. Jsou si však vědomi toho, že k rozhraní fungujícímu stylem plug-and-play, tedy stejně jako myš či klávesnice, kterou jednoduše připojíte a můžete ji používat, je ještě velmi dlouhá cesta.
Předchozí články ze série Shrnutí nové prezentace Neuralinku:
- #1: Elon Musk by neurální rozhraní nechal implantovat sobě i svým dětem
- #2: Vývoj a optimalizace implantátu
- #3: Testy mozkového implantátu
Přispějte prosím na provoz webu ElonX, aby mohl nadále zůstat bez reklam. Podpořte nás pomocí služby Patreon či jinak a zařaďte se tak po bok ostatních dobrodinců, kteří už finančně přispěli. Děkujeme!
Neuralink CZ/SK
Neuralink pod lupou
Podpořte projekt ElonX
Mimochodem, před týdnem psal Forbes, že byla zamítnuta žádost o klinické testy na lidech.
https://www.forbes.com.au/news/innovation/elon-musks-neuralink-brain-chip-plan-turned-down-by-fda-reports/
Vlasta už o tom chystá článek. 🙂
Jo jo.., to je zkrátka časopis, kterej umí překvapit!
Už to vyšlo:
https://www.elonx.cz/agentura-fda-pred-rokem-odmitla-vydat-neuralinku-povoleni-pro-testy-na-lidech/
Děkujeme za článek! Na obrázku “Vývoj průměrné denní detekce vzruchů na jedné z vybraných elektrod implantátu” to na první pohled vypadá jako by klesala citlivost zařízení.
Rádo se stalo 🙂