Нейросети смогли считать и преобразовать сигналы мозга в человеческую речь

Специалистам Калифорнийского университета в Сан-Франциско удалось разработать систему, способную преобразовывать сигналы, исходящие из мозга, в человеческую речь. Приспособление включает в себя пару нейросетей и специальный синтезатор.

Такое устройство, уверены авторы проекта, могло бы пригодиться людям, утратившим в силу определенных обстоятельств способность разговаривать. Подобным приспособлением пользовался известный физик Стивен Хокинг. Однако преобразователь, созданный американскими нейробиологами, требует усовершенствования, так как воспроизводит звуки, которые еще трудно разобрать.

Разработчики предложили двухступенчатую систему, состоящую из пары нейросетей и синтезатора, учитывая, что кора мозга не связана со словами напрямую, а координирует лишь движение органов речи. Специалисты воспользовались данными пятерых пациентов, страдающих эпилепсией. Добровольцы проговаривали предложения, а эксперты считывали сигналы мозга посредством электрокортикографии. Затем первая нейросеть преобразовывала импульсы в кинематические, копировавшие движения органов речи, вторая переводила их в акустические, а синтезатор создавал аудиосигнал.

Воспроизведенные звуки ученые предложили послушать 1755 добровольцам, дав задание выбрать из списка в 25-50 слов, что именно они услышали. Участники исследования правильно разобрались в 43% заданий. Слово, как и в живой речи, сложнее было распознать, если оно короткое. Специалисты планируют доработать свое устройство, пишет ПолитЭксперт.