„Meta AI“ pristato „Brain2Qwerty“: naujas giluminio mokymosi modelis, skirtas dekoduoti sakinius iš smegenų veiklos su EEG ar MEG

Smegenų ir kompiuterių sąsajos (BCIS) pastaraisiais metais padarė didelę pažangą, siūlydama komunikacijos sprendimus asmenims, turintiems kalbą ar motorinius sutrikimus. Tačiau veiksmingiausi BCIS remiasi invaziniais metodais, tokiais kaip implantuotai elektrodai, kurie kelia medicininę riziką, įskaitant infekciją ir ilgalaikės priežiūros problemas. Buvo ištirtos neinvazinės alternatyvos, ypač remiantis elektroencefalografija (EEG), tačiau dėl blogos signalo skiriamosios gebos jos kenčia nuo mažo tikslumo. Pagrindinis šios srities iššūkis yra neinvazinių metodų, skirtų praktiniam naudojimui, patikimumą. „Meta AI“ „Brain2QWERTY“ tyrimai yra žingsnis link šio iššūkio sprendimo.

Meta AI pristato „Brain2qwerty“neuroninis tinklas, skirtas iššifruoti sakinius iš smegenų veiklos, įrašytos naudojant EEG arba magnetoencefalografija (MEG). Tyrimo dalyviai įvedė įsimintus sakinius ant Qwerty klaviatūros, kol buvo užfiksuota jų smegenų veikla. Skirtingai nuo ankstesnių metodų, dėl kurių vartotojai sutelkė dėmesį į išorinius dirgiklius ar įsivaizduojamus judesius, „Brain2QWERTY“ panaudoja natūralius motorinius procesus, susijusius su spausdinimu, ir siūlo potencialiai intuityvesnį būdą aiškinti smegenų veiklą.

Modelio architektūra ir jos galimas pranašumas

„Brain2qwerty“ yra a Trijų pakopų nervų tinklas Skirta apdoroti smegenų signalus ir daryti išvadą, kad rašomas tekstas. Architektūrą sudaro:

1. Konvoliucinis modulis: Ištrauka laiko ir erdvines savybes iš EEG/MEG signalų.
2. Transformatoriaus modulis: Apdoroja sekas, skirtas patikslinti vaizdus ir pagerinti kontekstinį supratimą.
3. Kalbos modelio modulis: Išankstinis charakterio lygio kalbos modelis ištaiso ir patobulina prognozes.

Integruodamas šiuos tris komponentus, „Brain2QWERTY“ pasiekia geresnį tikslumą nei ankstesni modeliai, pagerindamas dekodavimo našumą ir mažindamas vertimo smegenų ir teksto klaidas.

Veiklos ir pagrindinių išvadų įvertinimas

Tyrimas įvertino „Brain2qwerty“ efektyvumą naudojant Charakterio klaidų lygis (CER):

• EEG pagrįstas dekodavimas atsirado a 67% CERnurodant aukštą klaidų lygį.
• MEG pagrįstas dekodavimas atliko žymiai geriau su a 32% cer.
• Tiksliausi pasiekiami dalyviai 19% cerparodant modelio potencialą optimaliomis sąlygomis.

Šie rezultatai pabrėžia tikslaus teksto dekodavimo EEG apribojimus, kartu parodant MEG potencialą neinvazinėms smegenų ir teksto programoms. Tyrimo metu taip pat nustatyta, kad „Brain2QWERTY“ gali ištaisyti dalyvių padarytas tipografines klaidas, o tai rodo, kad jis atspindi tiek motorinius, tiek pažintinius modelius, susijusius su spausdinimu.

Svarstymai ir ateities kryptys

„Brain2qwerty“ reiškia neinvazinių BCIS pažangą, tačiau išlieka keli iššūkiai:

1. Realiojo laiko įgyvendinimas: Šiuo metu modelis apdoroja visus sakinius, o ne atskirus klavišų paspaudimus realiuoju laiku.
2. MEG technologijos prieinamumas: Nors MEG pralenkia EEG, tam reikia specializuotos įrangos, kuri dar nėra nešiojama ar plačiai prieinama.
3. Pritaikomumas asmenims, turintiems sutrikimų: Tyrimas buvo atliktas su sveikais dalyviais. Norint nustatyti, kaip tai gerai, reikia atlikti papildomus tyrimus tiems, kurie turi motorinių ar kalbų sutrikimų.

Patikrinkite popierius. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Be to, nepamirškite sekti mūsų „Twitter“ ir prisijunkite prie mūsų „Telegram“ kanalas ir „LinkedIn GrOUP. Nepamirškite prisijungti prie mūsų 75K+ ml subreddit.

🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ _{(Paaukštintas)}