Нейросеть “озвучила” сигналы мозга

Американские ученые во главе с Нимой Месгарани придумали, как «вернуть дар речи» людям после инсульта и нейротравм. Нейросеть обучили преобразовывать сигналы мозга в слова и предложения.

«Прорывная» технология

Нейробиолог Месгарани и его коллеги из Колумбийского университета объединились с нейрохирургами Ашешем Мехтой и Хосе Эрреро из Института медицинских исследований Файнштейна (штат Нью-Йорк). Как следует из статьи, которая увидела свет в журнале Scientific Reports, исследователи совершили прорыв в сфере нейротехнологий. Они заставили онемевших пациентов заговорить. Сигналы мозга на спектрограммах превратили в понятную речь.

Месгарани
Нима Месгарани

Простые компьютерные модели, которые ранее применяли ученые, не дали ничего похожего на членораздельные слова и фразы. Поэтому команда Месгарани пошла более сложным путем: соединила инвазивный интерфейс мозг-компьютер, искусственный интеллект и синтезатор речи. Основой послужил вокодер (VoiceCoder), алгоритм, который “озвучивает” роботов и голосовых помощников.

«Речь робота» поняли люди

Эксперименты проводили после операций на мозге у пациентов с эпилепсией. В слуховую кору добровольцев имплантировали электроды электроэнцефаллограммы (ЭЭГ). Больные должны были прослушать фразы разных людей. Исследователи регистрировали характерные сигналы мозга, из которых составляли нейронные модели. На них обучали вокодер.

Затем для тех же пациентов воспроизводили записи, где актеры произносят цифры от 0 до 9. ЭЭГ-спектрограмму пропускали через нейросеть. Звук, который она генерировала в ответ на эти сигналы мозга, анализировали и очищали другие алгоритмы. Роботизированную речь смогли оценить 11 человек из контрольной группы. Результат приятно поразил ученых: люди распознали 75% слов.

«Чувствительный вокодер и мощные нейросети с удивительной точностью представляли звуки, которые пациенты первоначально слушали. Мы показали, что при правильной технологии мысли этих людей могут быть расшифрованы и понятны любому», — констатировал Месгарани.

Параллельно подобные исследования проводили Мигель Ангрик и Кристиан Херфф из Маастрихского университета (Нидерланды), а также команда нейрохирурга Эдварда Чена из Калифорнийского университета в Сан-Франциско США). У первых нейросеть воспроизвела до 40% слов, у второй — до 80%.

Ранее американские ученые во главе с Майклом Шуммером создали нейросеть-декодер для интерфейса мозг-компьютер. Искусственный интеллект обучили расшифровывать мозговые команды для роботизированной руки.

Источники: techxplore.com, hi-news.ru, nature.com. Подготовил Станислав Клопот  

Расскажите об этом друзьям



Хотите узнать о будущем больше?

Узнайте где деньги будут завтра!

Как современные технологии изменят бизнес? От чего стоит отказываться уже сейчас? Какие бизнес-идеи будут востребованы через 5, 10 и 15 лет? Какие отрасли останутся выгодными и актуальными, а какие умрут?

Заглянуть в будущее