V članku, objavljenem v reviji Nature, je ekipa Reality Labs opisala napravo sEMG-RD (surface electromyography research device), ki uporablja senzorje za pretvorbo električnih motoričnih živčnih signalov, ki potujejo iz zapestja v roko, v digitalne ukaze za upravljanje povezanih naprav. Ti signali dejansko predstavljajo možganske impulze, ki roki sporočajo izvedbo nameravane akcije, zato jih lahko razumemo kot zavestna navodila. Kako zadeva deluje, si lahko ogledate v spodnjem videu.
Meta je z razvojem te tehnologije začela že pred časom. Leta 2021 so sestavili ekipo pod vodstvom Thomasa Reardona, ki se je pridružil Reality Labs leta 2019 kot vodja oddelka za nevromotorične vmesnike. Cilj ekipe je bil razvoj prototipa naprave za upravljanje z gestami na osnovi elektromiografije. Takrat je bil cilj tehnologijo uporabiti za izboljšano interakcijo v obogateni resničnosti in omogočiti enostavne funkcije, kot je simulacija posameznega klika miške. Reardon je kasneje vodil tudi raziskavo, dokumentirano v omenjenem članku.
Na trgu je bilo že več poskusov razvoja podobnih sistemov, med njimi naprava iz leta 2023, ki je uporabljala senzorje za zaznavanje barometričnega tlaka za prepoznavo desetih različnih gest, ter Mudra Band, ki uporablja površinsko prevodnost živcev za upravljanje Apple Watch z enostavnimi gibi prstov. Tehnologija sEMG-RD gre precej dlje. Omogoča ne samo upravljanje kazalca na zaslonu v eno-dimenzionalnem načinu (kot laserski kazalnik), temveč tudi navigacijo po uporabniškem vmesniku in izbiro elementov z gestami, kot so »ščipanje«, drsenje tapkanje s palcem in še kaj. Poleg tega lahko z imitacijo pisanja v zraku vnašate besedilo s hitrostjo približno 20,9 besed na minuto, kar je ta trenutek primerljivo s povprečno hitrostjo tipkanja na pametnem telefonu (36 besed na minuto).
Sistem za prilagoditev uporabniku ne potrebuje individualnega umerjanja pred uporabo, omogoča pa dodatno prilagoditev za večjo natančnost. Razvojna ekipa je namreč pridobila velike količine učnih podatkov od številnih udeležencev testiranj in jih obdelala prek nevronske mreže za natančno pretvorbo surovih signalov v digitalne ukaze, ne glede na posameznega uporabnika.
Uporaba podatkov tisočih preizkušancev je omogočila razvoj generičnih dekodirnih modelov, ki z visoko natančnostjo interpretirajo uporabniški vnos pri različnih osebah. To odpravlja potrebo po individualnem nastavljanju naprave sEMG-RD, kar omogoča takojšnjo in široko uporabo naprave – podobno, kot ljudje brez ovir uporabljajo računalniško miško brez posebne kalibracije.
Ekipa meni, da bi bilo to tehnologijo mogoče nadgraditi tako, da bi zaznavala tudi nameravano moč geste, kar bi omogočilo bolj natančen nadzor nad napravami, kot so kamere in igralne palice. Poleg tega bi lahko zmanjšala (že zdaj minimalen) fizični napor za upravljanje pametnih telefonov in drugih digitalnih naprav. Morda pa je še bolj obetavna možnost ustvarjanja povsem novih načinov interakcije z izkoriščanjem različnih mišičnih sinergij, ki jih danes še ne poznamo oziroma za katere še nimamo imen, ali pa uvajanjem novih signalov, ki jih lahko zapestnica interpretira.
Vir: Scimex
