Мовний нейропротез переводить сигнали мозку прямо в слова

9

Розробка фахівців з каліфорнійського університету в сан-франциско (ucsf) — це перший вдалий досвід прямої розшифровки слів цілком на основі сигналів від коливань в головному мозку людини, який не здатний розмовляти через параліч.

У минулому всі дослідження в комунікативному нейропротезуванні спиралися на методи, засновані на орфографічному підході і дозволяють послідовно набирати букви в словах. У новому ж дослідженні вчені розпізнають сигнали, призначені для управління м’язами голосового апарату, коли людина намагається вимовити цілі слова.

в рамках дослідження, що вийшло в new england journal of medicine, вчені з ucsf імплантували субдуральний багатоелектродний масив високої щільності в область сенсомоторної кори — частини головного мозку, яка контролює мова у людини з анартрією (втратою здатності артикулювати). Зображення: ucsf

Після 48 сеансів розробники записали 22 години активності кори головного мозку. Під час кожного сеансу учасник дослідження намагався вимовити окремі слова із заданих 50 слів. Потім були використані алгоритми глибокого навчання для розробки обчислювальних моделей, щоб виявити і класифікувати ці слова на основі записаних тонких патернів мозкової активності. Крім того, вчені застосовували призначені для користувача алгоритми автокорекції, схожі зі звичною нам корекцією в текстових повідомленнях.

Також вчені задавали учаснику питання на зразок «як твої справи?”і” хочеш пити?”, після чого на екрані відображалися його відповіді:» все дуже добре «і»ні, я не хочу пити”.

В кінцевому підсумку, автори експерименту підрахували, що нова система розпізнавала речення зі швидкістю до 18 слів в хвилину з точністю 93%. Для порівняння: коли ми розмовляємо, то зазвичай вимовляємо до 150-200 слів в хвилину.

новий нейропротез. Зображення: ucsf

При цьому швидкість декодування зберігалася на тому ж рівні або поліпшувалася за рахунок накопичення з часом великої кількості навчальних даних. Щоденна повторна калібрування не була потрібна, а це дозволяє припустити, що електрокортикографія високої щільності підходить для довгострокового застосування нейропротезування прямої мови.

Щорічно величезна кількість людей страждає від проблем з промовою і втрати здатності говорити. Використовуючи новий мовний нейропротез, вони одного разу зможуть повноцінно спілкуватися. І тут дуже важливий перехід від букв до слів — так технологія максимально наблизилася до принципу звичайної людської мови.

В даний час автори дослідження працюють над розширенням словникового запасу. Наступний крок-збільшення числа учасників експерименту.