Американским ученым удалось разработать подход, который позволяет использовать данные с внутричерепных электроэнцефалографов, чтобы реконструировать и воспроизвести песни, которые недавно прослушал носитель этого данного прибора.
За последние годы специалисты создали десятки нейроинтерфейсов. Они трансформируют активность мозга пациентов в устную или письменную речь. Устройства позволяют инвалидам обмениваться информацией с окружающими людьми при помощи систем синтеза речи. Тем не менее передавать интонации и различные эмоции они пока не могут.
Сотрудники Университета Беркли в Калифорнии решили исправить этот недостаток. В ходе исследования они наблюдали за работой мозга 29 пациентов с эпилепсией. Врачи имплантировали внутрь черепа людей более 2,6 тысячи электродов — они позволяют врачам отслеживать изменения в активности нервной системы в ответ на определенные сигналы.
Исследователи решили применить эти данные, чтобы декодировать музыку. Добровольцам было предложено прослушать знаменитую композицию группы Pink Floyd под названием Another Brick in the Wall (альбом The Wall). Ученые проследили за переменами в активности разных участков нервной системы, в том числе верхней височной извилины, которая отвечает за обработку речи.
Был проведен анализ всплесков активности данных регионов мозга. Специалисты сопоставили их с тем, какие ноты, аккорды и звуки голоса Роджера Уотерса звучали в каждый момент прослушивания песни Pink Floyd. Оказалось, что порождаемые нейронами верхней височной извилины сигналы полностью отражали то, какие звуки и слова слышали пациенты.
На базе этого эксперимента ученые создали нейросеть, которая способна почти полностью реконструировать прослушанную песню по собранным электродами данным. Последующий анализ сигналов позволил выделить конкретные наборы нейронов и области в мозге, отвечающие за восприятие ритма, музыкальных инструментов, голоса людей. В будущем ученые надеются создать новое поколение нейроинтерфейсов, которые смогут считывать как мысли, так и речевую интонацию и эмоции говорящего, пишет издание The New York Times.
Ранее американские ученые провели исследование и выяснили, что чашечка кофе по утрам и прослушивание любимой музыки улучшают когнитивные функции мозга.