Нейросеть по голосу человека смогла нарисовать его внешность

Новая нейросеть Speech2Face по словам человека может воссоздавать приблизительное изображение его лица. Разработали проект ученые из США.

Искусственный интеллект обучен на миллионах видозаписей с голосом юзеров. Каждый ролик при этом разделен на дорожки аудиотреков и само видео. Алгоритм был разработан научными сотрудниками Массачусетского технологического института из нескольких частей: одна из них применяет способности лица из видеоряда для создания фото в анфас. Другая воссоздает из аудиодорожки спектрограмму речи, анализируя, как выглядит человек, разговаривающий в оригинальном видеоролике.

Американские эксперты пока не в полной мере научили нейросеть восстанавливать внешний вид человека по голосу. Приложение с легкостью определяет пол и угадывает с высокой точностью европеоидов и азиатов, но пока Speech2Face не способен с точностью установить возраст с разницей в 10 лет.

Своей целью сотрудники института ставили не идеальное восстановление человека по голосу. Они пытались выделить важные характеристики возраста, пола и принадлежности к той или иной национальности.