Искусственный интеллект превратил электрические сигналы мозга в несколько искаженный классический рок. Исследователи надеются, что мозговые имплантаты однажды помогут людям, потерявшим способность говорить, вернуть голос и, возможно, даже петь. Теперь ученые впервые продемонстрировали, что электрическая активность мозга может быть расшифрована и использована для воссоздания музыки. В новом исследовании проанализировали данные 29 человек, которые уже находились под наблюдением в связи с эпилептическими припадками. Наблюдения проводили с помощью электродов размером с почтовую марку, размещенных непосредственно на поверхности мозга испытуемых. Когда участники слушали песню группы Pink Floyd 1979 года «Another Brick in the Wall, Part 1», электроды фиксировали электрическую активность нескольких областей мозга, настроенных на такие музыкальные элементы, как тон, ритм, гармония и текст. Используя машинное обучение, исследователи восстановили искаженное, но отчетливое звучание того, что слышали участники. Результаты исследования опубликованы 15 августа в журнале PLOS Biology. Неврологи уже несколько десятилетий работают над расшифровкой того, что человек видит, слышит или думает, основываясь только на активности мозга. В 2012 г. группа, в которую входил старший автор нового исследования — когнитивный нейробиолог Роберт Найт из Калифорнийского университета в Беркли, — впервые успешно восстановила аудиозаписи слов, которые участники слышали, когда к ним были присоединены электроды. Впоследствии другие исследователи использовали аналогичные методы для воспроизведения недавно просмотренных или воображаемых изображений, полученных в результате сканирования мозга участников, включая человеческие лица и пейзажные фотографии. Однако недавно опубликованная в журнале PLOS Biology работа Найта и его коллег является первым примером того, что ученые могут подслушивать мозг для синтеза музыки. «Эти захватывающие результаты основываются на предыдущих работах по реконструкции обычной речи на основе активности мозга, — говорит Шайли Джайн, нейробиолог из Калифорнийского университета в Сан-Франциско, не принимавшая участия в новом исследовании. — Теперь мы можем по-настоящему покопаться в мозге, чтобы найти источник звука». Чтобы превратить данные о мозговой активности в музыкальное звучание, исследователи обучили модель искусственного интеллекта расшифровывать данные, полученные с тысяч электродов, которые были прикреплены к участникам, когда они слушали песню Pink Floyd во время операции. Почему группа ученых выбрала именно Pink Floyd и конкретно «Another Brick in the Wall, Part 1»? «Научная причина, о которой мы говорим в статье, заключается в том, что эта песня очень многослойна. В ней присутствуют сложные аккорды, различные инструменты и разнообразные ритмы, что делает ее интересной для анализа, — говорит Людовик Белье, когнитивный нейробиолог и ведущий автор исследования. — Менее научная причина может заключаться в том, что нам просто очень нравится Pink Floyd». ИИ-модель проанализировала закономерности реакции мозга на различные компоненты акустического профиля песни, выделив изменения высоты тона, ритма и тембра. Затем другая модель искусственного интеллекта собирала эту распутанную композицию, чтобы оценить звуки, которые слышали пациенты. После того как данные о мозге были пропущены через модель, музыка вернулась. Мелодия была практически целой, а текст — искаженным, но различимым, если знать, к чему прислушиваться: «All in all, it was just a brick in the wall». Модель также показала, какие участки мозга реагируют на различные музыкальные особенности песни. Исследователи обнаружили, что некоторые участки центра обработки звука мозга, расположенные в верхней височной извилине, чуть позади и над ухом, реагируют на вступление голоса или синтезатора, в то время как другие участки реагируют на продолжительное гудение. Несмотря на то, что исследования были посвящены музыке, исследователи ожидают, что их результаты окажутся наиболее полезными для перевода мозговых волн в человеческую речь. Независимо от языка, речь содержит мелодические нюансы, включая темп, ударение, акценты и интонацию. «Эти элементы, которые мы называем просодией, несут в себе смысл, который мы не можем передать только словами», — говорит Белье. Он надеется, что эта модель позволит усовершенствовать интерфейсы «мозг-компьютер» — вспомогательные устройства, которые записывают мозговые волны, связанные с речью, и используют алгоритмы для восстановления предполагаемых сообщений. Эта технология, пока еще находящаяся в разработке, может помочь людям, потерявшим способность говорить в результате таких заболеваний, как инсульт или паралич. По словам Джайн, в будущих исследованиях необходимо выяснить, можно ли распространить эти модели на музыку, которую участники слышали, и на воображаемую внутреннюю речь. «Я надеюсь, что эти результаты можно будет распространить на другие области мозга, поскольку при воображении произнесения слова задействуются аналогичные зоны мозга, в отличие от физического произнесения слова», — говорит она. Если бы интерфейс «мозг-компьютер» мог воссоздать чью-то речь с присущими музыке просодией и эмоциональным весом, он мог бы реконструировать гораздо больше, чем просто слова. «Вместо того чтобы роботизированно произносить «Я. Люблю. Тебя», вы можете крикнуть: «Я люблю тебя!» — говорит Найт. Остается еще несколько препятствий, прежде чем мы сможем применить эту технологию в руках или мозге пациентов. В частности, модель основана на записи электрических сигналов непосредственно с поверхности мозга. По мере совершенствования методов регистрации мозга можно будет собирать эти данные без хирургических имплантатов — возможно, с помощью сверхчувствительных электродов, прикрепляемых к коже головы. Последняя технология может быть использована для идентификации отдельных букв, которые участники эксперимента представляют себе в голове, но этот процесс занимает около 20 секунд на каждую букву, что никак не соответствует скорости естественной речи, которая проносится со скоростью около 125 слов в минуту. Исследователи надеются сделать беспорядочное воспроизведение более четким и понятным, расположив электроды ближе друг к другу на поверхности мозга, что позволит еще более детально изучить электрическую симфонию, которую создает мозг. В прошлом году группа специалистов из Калифорнийского университета в Сан-Диего разработала плотную сетку электродов, которая позволяет получать информацию о сигналах мозга с разрешением, в 100 раз превышающим разрешение современных устройств. «Сегодня мы восстановили песню, — говорит Найт. — Возможно, завтра мы сможем восстановить весь альбом Pink Floyd». По материалам статьи «Neuroscientists Re-create Pink Floyd Song from Listeners’ Brain Activity» Scientific American