ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ПИШУЩИЙ МУЗЫКУ: МАШИНЫ VS ЧЕЛОВЕЧЕСКИЙ РАЗУМ
- Наталия Сидак
- 23 дек. 2021 г.
- 45 мин. чтения
Обновлено: 23 апр. 2024 г.
Звуки умертвив, музыку я разъял, как труп.
Поверил я алгеброй гармонию…
А. Пушкин. Моцарт и Сальери
В этой статье мы поговорим о современных технологиях, которые, возможно, уже в ближайшем будущем перевернут все принятые правила написания текстов и музыки и откроют новую эру в искусстве.
Все, наверное, слышали музыку, сочиненную с помощью компьютерного алгоритма. За последние десятилетия исследователи искусственного интеллекта (ИИ) добились огромных успехов в вычислительном - или алгоритмическом - творчестве, и эти достижения теперь проникают в реальный мир. Разнообразные программы выпустили альбомы во многих жанрах. Они записали музыку для фильмов, презентаций и рекламы. И они также создают музыкальное настроение в играх и приложениях для смартфонов. Но как звучит музыка, созданная на компьютере? И зачем это делать?..
Музыка как вид искусства не может не обновляться. И этот процесс развития, зародившись одновременно с появлением человечества, происходит вот уже на протяжении многих тысяч лет. Мы даже не задумываемся о том, что музыка неотделима от нашей жизни. По дороге на работу, дома или на улице - она окружает нас везде. Возможно, мы впервые слышим музыку, находясь еще в утробе матери. Она способна поднять настроение и вызвать меланхолию, все яркие и незабываемые события в жизни неотъемлемы от музыки. Сегодня это целая индустрия - сотни музыкальных направлений и течений, тысячи исполнителей и миллионы поклонников…
С каждым годом искусственный интеллект занимает все более уверенные позиции в искусстве - в самой человеческой из жизненных сфер. И мир музыки тому не исключение. Известно, что создание новой композиции – это зачастую работа, в которой принимают участие несколько человек, и музыка рождается в результате тесного сотрудничества и слияния идей. С развитием компьютерных технологий люди все чаще обращаются к машинам за помощью в генерировании мелодий и текстов. Примеров ИИ-творчества сотни. Эксперты уверены, что подобные тенденции являются отправной точкой революционных преобразований в музыкальной среде...
Для начала определим, что такое искусственный интеллект.
Это свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека; а также наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ, построенных по принципу организации и функционирования биологических нейронных сетей. Такие сложные компьютерные программы функционируют не по жестко заданным алгоритмам, а по принципу живых клеток мозга. Сигналы передаются от нейрона к нейрону и, наконец, выводятся — получается числовой, категориальный или генеративный результат. В разработке ИИ существует машинное обучение, которое изучает методы построения алгоритмов, способных самостоятельно обучаться. Это необходимо, если не существует четкого решения какой-либо задачи. В этом случае проще не искать правильное решение, а создать механизм, который сам придумает путь для его поиска. Это один из многочисленных методов, которые используются для написания компьютерной музыки.
Как же работает искусственный интеллект при создании музыкальных произведений? Общий принцип заключается в том, что нейросеть, один из способов реализации искусственного интеллекта, "смотрит" на огромное количество примеров и учится генерировать что-то похожее.
С незапамятных времен музыка и математика постоянно переплетались. В связи с этим в наше время появилось новое понятие – алгоритмическая музыка. То есть музыка, созданная с помощью математических моделей, правил и алгоритмов.
Если мысль о компьютерной музыке вас слегка напрягает, упомяну, что эксперименты по "автоматизации" композиции были хорошо известны еще в Древнем мире, когда музыка создавалась при помощи игральных костей. Так, по сообщению китайского историка музыки Су Ма Шьена, уже в Древнем Китае подобным образом создавались музыкальные композиции; при этом такой способ сочинения практиковался на экзаменах, и подобные задачи ставились перед учащимися.
В античности музыка вообще считалась ответвлением математики. Аврелий Кассиодор, римский политик и ученый, живший в VI веке, описывал математику как союз четырех дисциплин: арифметики, музыки, геометрии и астрономии.
Первый опыт по формализации музыкальных звуков с помощью математических методов принадлежит Пифагору. В области гармоники Пифагором были произведены важные акустические исследования, приведшие к открытию закона, согласно которому первые (то есть самые главные, самые значимые) консонансы определяются простейшими числовыми отношениями 2/1, 3/2, 4/3. Так, половина струны звучит в октаву, 2/3 — в квинту, 3/4 — в кварту с целой струной. "Самая совершенная гармония" задается четверкой простых чисел 6, 8, 9, 12, где крайние числа образуют между собой октаву, числа, взятые через одно, — две квинты, а края с соседями — две кварты.
В западноевропейской музыке самым ранним образцом такого способа композиции считается 17-я глава трактата "Микролог" (Micrologus, между 1025 и 1030) знаменитого итальянского теоретика музыки, педагога, монаха-бенедиктинца Гвидо д’Ареццо (ок. 990 — ок. 1050). В ней описывается способ создания "силлабической мелодии на основе текста, заключающийся в произвольной перестановке тонов, закрепленных за латинскими гласными".
Это первый известный пример применения алгоритмического подхода к сочинению музыки. Другими словами, Гвидо Аретинский разработал соответствующий метод привязки текста к нотам: каждая нота была назначена определенной гласной, и мелодия варьировалась, исходя из положения гласных в тексте. Октава была размечена следующим образом:
Г A B C D E F G a b c d e f g
Затем под этой строкой размещались три цикла гласных:
Г A B C D E F G a b c d e f g
a e i o u a e i o u a e i o u
После этого композитору оставалось составить мелодию, пользуясь такой таблицей, опираясь на извлеченные текстовые гласные.
В рамках "музыкальных игр" появился ряд систем, основанных на различных принципах построения музыкальных пьес: Атанасиуса Кирхера ("композиционная машина"; 1660), Уильяма Хейса (разбрызгивание чернил над нотным станом; 1751). В 1719 году пражский монах Маурициус Фогт предложил в своем сочинении Conclave thesauri magnae artis musicae способ создания музыки посредством подбрасывания сапожных гвоздей.
В XVIII веке некоторые композиторы развлекались так называемыми "Musikalisches Würfelspiel" ("играми в музыкальные кости"): в этой интеллектуальной игре броски игральных костей определяли порядок, в котором будут собраны предварительно составленные музыкальные фрагменты. Это был следующий этап попытки применения алгоритмических процедур в докомпьютерную эпоху. Одна из этих игр была опубликована в 1792 году издателем Моцарта Николаусом Симроком в Берлине; автор остался неизвестным, но произведение было приписано самому Моцарту.
Можно сказать, что Вольфганг Амадей одним из первых в истории человечества создал арт-генератор — с его помощью композитор сочинял менуэты. Дело в том, что музыка сама по себе алгоритмична. Все в ней подчиняется каким-то законам: размер, темп, обязательные части, такт и прочее. И все менуэты во времена Моцарта создавались в рамках менуэтного канона, в котором присутствовали строгие ограничения. А если присутствуют ограничения, то разнообразие достигается за счет вариативности. Видимо, автор увидел, что разные фрагменты менуэтов можно менять друг с другом. Участники кидали игральные кости. Выпавшее число определяло номер музыкального фрагмента — уже сочиненного и отложенного впрок — который должен стать частью пьесы.
Таким же образом была создана в 1790 году "Филармоническая шутка" Гайдна. И Моцарт, и Гайдн – оба композитора любили игры и веселье, поэтому сложно сказать, задумывались ли эти пьесы как нечто большее, чем забавы.
Сегодня данная игра целиком перекочевала в электронную сферу и доступна как в виде приложений для мобильных устройств, так и в виде программок для ПК и браузеров. Играть, конечно, в нее уже не так захватывающе, как пару веков назад, однако в отличие от многих других настольных игр той эпохи к ней можно прикоснуться при первом же желании.
На австрийском телеканале показали,
как играть в игру, придуманную Моцартом
Исследователи отмечают историческую преемственность между "музыкальными играми" и алеаторикой (лат. alea — игральная кость; жребий, случайность), возникшей в ХХ веке. Эта авангардная техника заключается в неполной фиксации музыкального текста в нотах, и, как следствие, в свободе реализации или даже совместного создания в процессе исполнения. Это направление современной академической музыки провозглашает случайность, неопределенность первоисточником творчества и исполнительства. Она достигается различными средствами: жребием, шахматными ходами, цифровыми комбинациями, тасованием нотных листов, бросанием игральных костей, разбрызгиванием чернил на нотном листе и другими.
Еще одна математическая модель, использовавшаяся в искусстве на протяжении веков, – золотое сечение. Под золотым сечением подразумевается точка, делящая любой сегмент на такие две части, что соотношение размера более большой части по отношению к меньшей равно соотношению всего сегмента по отношению к большей части.
Золотое сечение неразрывно связано с последовательностью чисел Фибоначчи, открытой итальянским математиком Леонардо Пизанским в XIII веке:
1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144….,
где каждое последующее число является суммой двух предыдущих.
Данная последовательность всегда привлекала различных композиторов, которые использовали ее в качестве структурной схемы. По отношению ко всей длине произведения точка золотого сечения приходится примерно на 61,8 % хронометража. Обычно композиторы оставляют на данный отрезок кульминацию отрывка или драматический момент. Самым ранним примером использования такого подхода можно назвать мотет английского композитора эпохи Возрождения Томаса Таллиса (1505—1585) "Spem In Alium" (лат. "Надежда в любом другом") — в золотой середине этого произведения расположен такт полной тишины, за которым следует вступление хора из 40 голосов. Также использование золотого сечения можно встретить в произведениях таких композиторов, как Ф. Шуберт, И.-С. Бах, К. Дебюсси.
Т. Таллис. Мотет "Spem In Alium"
Перевод с лат.:
Я никогда не надеялся ни на кого другого
как только на Тебя, Боже Израилев,
кто может проявить и гнев, и милосердие,
и кто отпускает все грехи страдающего человека,
Господь Бог, Создатель Неба и Земли,
помни о нашем смирении.
История музыки компьютерных технологий
Работа над синтезированной музыкой ведется уже давно. Ранние известные эксперименты в этой области проводились еще в 50-х годах XIX века. Первой, кто заговорил о попытках написания машиной музыки, была английская математик, изобретательница двоичного кода Ада Лавлейс (1815—1852).
В 1843 году она написала, что "аналитическая машина Чарльза Бэббиджа может сочинять осмысленные отрывки музыки любой сложности и длины".
Бурное развитие науки и, в частности, математики, начавшееся с середины XIX века, позволило композиторам и ученым воплощать в своих трудах такие идеи, которые ранее казались невозможными. В 20—30-х годах ХХ века украинский композитор и музыкальный теоретик Иосиф Шиллингер (1895—1943), иммигрировавший в США, развил свою "систему музыкальной композиции Шиллингера" — объемное произведение размером в две тысячи страниц. Данная система покрывала все фундаментальные аспекты музыкальной композиции – контрапункты, ритмы, гармонии и так далее.
Основной принцип работы этой системы заключался в использовании результирующего вектора (система была по сути геометрической) взаимовлияющих периодических колебаний на квадратную область ритмических и структурных пропорций, с последующей проекцией на области нот и аккордов, контрапунктов, гармонических прогрессий, эмоциональных и семантических аспектов. Свой способ генерации произведений с помощью математических алгоритмов Шиллингер преподавал таким известным композиторам, как Глен Миллер и Джордж Гершвин. Есть мнение, что впоследствии Гершвин использовал эти методы в своем творчестве и сгенерировал отдельные части своих произведений.
Система Шиллингера была встречена резкой критикой за псевдонаучность, отсутствие внятных математических обоснований и слишком сложный, непостоянный и сбивчивый стиль изложения. Однако именно эта работа определила направления многих будущих научных исследований в области алгоритмического сочинения музыки и вернула интерес к сфере, забытой на несколько веков.
В 1951 году, через столетие после того, как английский математик Чарльз Бэббидж создал первую аналитическую вычислительную машину, его знаменитый соотечественник, математик и криптограф Алан Тьюринг (1912—1954) на компьютере Mark II, построенном его группой в лаборатории Манчестера, воспроизвел три мелодии (песни "God Save the King", "Ba Baa Black Sheep" и "In the Mood"). Именно они стали первой в истории человечества музыкой, созданной при помощи машины.
Для записи песен Тьюринг и его коллеги использовали односторонний ацетатный диск диаметром 12 дюймов. Сегодня запись 1951 года звучит просто и даже смешно. Тем не менее в те времена написать программу, которая воспроизведет на компьютере музыку, да и еще с максимальной точностью, было невероятно сложно. Самой большой трудностью было отнюдь не нотное содержание, а точность строя и высоты каждой ноты, поэтому через много лет музыку пришлось восстанавливать.
Только в 2016 году профессор Джек Коупленд и композитор Джейсон Лонг, специалисты из университета Кентербери (Новая Зеландия), смогли воссоздать эту уникальную запись.
Новаторская работа Тьюринга по превращению компьютера в музыкальный инструмент в основном осталась без внимания. Известно, что знаменитый физик "озвучил" свой компьютер не ради музыки. Изначально ученый решил, что написанные им инструкции помогут пользователям быстрее освоиться с работой гигантской вычислительной машины. По задумке, компьютер и его программа будут озвучивать все действия и этапы работы, что станет прекрасной индикацией состояния выполнения задач: одна нота сообщала об окончании работы, другая — о нехватке памяти, третья говорила об ошибке при выполнении инструкций. Возможность музицирования ученый решил оставить другим — тем, кто более ловко сможет программировать музыкальные паттерны.
Нужно отметить, что, записывая первую компьютерную музыку, Алан Тьюринг и не подозревал, что тем самым он положил начало эре цифровой музыки, которая окружает нас сегодня. Эта новаторская для того времени работа не только подготовила почву для появления цифровых музыкальных инструментов, она еще и обеспечила зарождение новых музыкальных видов и жанров.
Уникальную запись в восстановленном виде можно услышать здесь:
Как известно, наука не стоит на месте, и в 1957 году два заокеанских ученых продолжили дело Кавалера Ордена Британской империи А. Тьюринга.
Макс Мэтьюз, инженер американской лаборатории Bell Labs, попросил программиста Ньюмана Гутмана сочинить мелодию для воспроизведения на компьютере. Он сочиняет The Silver Scale, первую компьютерную музыку, реализованную в Bell Labs, и одно из самых ранних музыкальных произведений, написанных с помощью машины. Этот несложный трек длился всего 17 секунд. Разумеется, это произведение нельзя было назвать полноценным: запись больше напоминала пищание принтера. Но эта простенькая мелодия положила начало новому большому направлению в программировании:
The Silver Scale
В том же году два авангардных композитора, профессора Иллинойского университета (США) Леджарен Хиллер и Леонард Айзексон создали The Illiac Suite - первую партитуру, написанную компьютером. Она была названа в честь компьютера ILLIAC I, одной из первых ЭОМ, созданных в мире. Это ранний пример алгоритмической композиции, основанной на вероятностном моделировании (цепях Маркова).
"Электрический мозг" просто сгенерировал статистическим методом ряд случайных чисел, которые соответствовали определенным музыкальным элементам. Последовательности чисел отвечали и за создание ведущей мелодии, ее ритма и динамики, и за генерирование вариаций для каждого из участников квартета.
Сюита даже была исполнена музыкальным коллективом, однако такое нововведение вызвало праведный гнев в профессиональном сообществе. Музыкальные круги оставались по большей мере пуританскими и не принимали мысль, что творить может кто-то кроме человека. Один из посетителей первого "концерта" сравнил услышанное со звуками скотного двора.
Illiac Suite
"Сюита Иллиака" стала самым ранним опытом композиции, удовлетворительно звучащей для человеческого восприятия.
В это же самое время, но на другом конце света, советский математик и программист Рудольф Зарипов (1929—1991) создал первый в СССР автомат-композитор. Он одним из первых в мире, еще на рубеже 50—60-х годов, начал исследовать проблему компьютерного моделирования художественного творчества, прежде всего музыкального. И занимался этим всю свою жизнь, будучи практически единственным серьезным специалистом по этой проблеме в Советском Союзе.
Впервые об автоматизированном способе сочинения музыки он задумался еще во время учебы в музыкальном училище, но к созданию его приступил уже в аспирантуре, работая на ЭВМ "Урал". Машинное конструирование мелодий долго не шло на лад — Зарипов видел бесконечное многообразие мелодических оборотов, но никак не мог найти одну изящную формулу, всех их объединяющую. И только в 1959 году алгоритм наконец был написан, и машина "сочинила" три вальса и несколько маршей. Сам Р. Зарипов называл эти музыкальные произведения "Уральскими напевами" — в честь композитора, то есть машины.
Про Зарипова есть один интересный момент. Когда он начал создавать компьютерную музыку, его страшно клеймили советские искусствоведы. Говорили, что в этой музыке нет человека, что машины не могут делать искусство. И тогда он на большом симпозиуме, где были и композиторы, и музыканты, и ученые, устроил слепое прослушивание: взял несколько произведений, написанных машиной, и несколько произведений современных советских композиторов. Не объявляя, человек это написал или машина, он ставил одно произведение за другим, а аудитория оценивала их по разным критериям. В итоге средняя оценка машинного искусства оказалась выше, чем оценка искусства человеческого. То есть людям больше понравилось то, что написала машина.
В начале 1960-х годов французский архитектор и композитор греческого происхождения Яннис Ксенакис (1922—2001) начал использовать звучания, сгенерированные с помощью ЭВМ и специальных программ на языке Fortran. Он использовал компьютеры для создания своей стохастической (случайной) музыки и был первым человеком, использовавшим математический подход в музыке не в качестве инструмента, а в качестве принципа ее сочинения. По его словам, "с появлением электронных компьютеров композитор станет чем-то вроде пилота: ему останется нажимать кнопки, вводя координаты, и осуществлять контроль над путешествием корабля в пространстве музыки".
В 1965 году на американское шоу I’ve Got a Secret, где звездное жюри угадывало секреты гостей, пришел семнадцатилетний Рэймонд Курцвейл, будущий изобретатель и футуролог. Он сыграл композицию на фортепиано — секрет был в том, что сочинил ее компьютер.
В 1980-х годах музыкант и ИТ-исследователь Кемаль Эбчиоглу предложил в своей докторской диссертации алгоритмическую систему для гармонизации хоралов в стиле Баха: он создал программу CHORAL. Разумеется, выполняемое программой действие отличается от "написания" музыки: базовая мелодия заимствовалась из существующих хоралов Баха; затем было проведено сравнение результатов работы программы и творчества самого композитора.
В программе использовались принципы "теории музыки" (например, правила голосоведения); Бах, вероятно, также принимал во внимание, как гармонизация отражает слова, или насколько легко можно исполнить партии. Тем не менее результаты были достаточно убедительными, во всяком случае, внешне – они не выглядели бессмысленными.
По мере того как искусственный интеллект и машинное обучение становились все более изощренными, рос потенциал компьютерной музыки. Вскоре алгоритмы смогли анализировать принципы составления музыкальных произведений на основании реальных примеров.
Действительный результат в плане написания музыки машиной появился в 1987 году в Университете Калифорнии благодаря усилиям профессора музыки Дэвида Коупа (род. в 1941).
Его основная область исследований - искусственный интеллект и музыка; он пишет программы и алгоритмы, которые могут анализировать существующую музыку и создавать новые композиции в стиле исходной входящей музыки. Профессор разработал систему, которая научилась копировать стиль его и других композиторов, и создавать на его основе собственные произведения. Систему назвали EMI (Experiments in Musical Intelligence, или “Эмми”). Она произвела фурор в научном сообществе и, как обычно, негодование в музыкальном.
Работа над программой была начата Коупом в 1980 году, когда один из его знакомых заказал ему оперу, когда находился в творческом кризисе. Программу удалось сделать только через семь лет. Первоначально EMI была разработана для анализа собственного музыкального стиля Коупа. Загружая в программу свои прошлые композиции, ученый надеялся найти уникальные фрагменты, которые делает только он, а потом воспроизвести их по-новому. Однако автор обнаружил, что программа может проанализировать музыкальные произведения любого композитора, чтобы выдать в результате новую пьесу, звучащую точно так же, как этот композитор написал бы ее сам.
В 1997 году Коуп представил слушателям три композиции. Одна была написана Бахом, другая — EMI, третья — преподавателем музыкальной теории Стивом Ларсоном. Зрители должны были угадать, кому принадлежит каждое из этих произведений. Композицию, сочиненную Ларсоном, публика приняла за музыку искусственного интеллекта. Музыку EMI — за Баха.
Фуга в стиле Баха, написанная EMI
Таким образом появился еще один способ написания компьютерной музыки — с помощью грамматики. Проще говоря, ИИ пытался проанализировать систему строения музыки и создать по ней собственную мелодию. Благодаря идее "рекомбинаторики" Коупа появился искусственный интеллект, который мог анализировать существующие музыкальные отрывки и на их базе создавать собственные.
Всего EMI написала более тысячи произведений на основе творчества 39 композиторов, которые представляли разные музыкальные стили. Коуп рассказал, что поначалу эта музыка вызывала у слушателей шок и даже страх от осознания того, что она была порождена машиной, но постепенно реакция стала более позитивной. С помощью этой программы Коуп написал цикл "Зодиак" - двенадцать коротких произведений для струнного оркестра в стиле А. Вивальди. Ниже можно послушать композицию "Телец". Видео также создается алгоритмически.
Но Коуп не остановился на достигнутом. В 2003 году программа была усовершенствована и получила название Emily Howell. Хауэлл (Howell) — это имя отца Дэвида Коупа. Коуп использовал произведения, созданные EMI на основе работ других композиторов, и передавал их Emily, а та создавала свои собственные произведения. Это была наиболее известная попытка обучить компьютер творческой самостоятельности. Ученый предполагал, что любое творчество вдохновлено плагиатом, а великие композиторы впитывали музыкальные гармонии, которые были созданы ранее, и их мозг "перекомпоновал" мелодии и фразы характерными для них, узнаваемыми методами. Эти взгляды легли в основу его разработки. Одна из особенностей процесса создания музыкальной композиции программой — способность ее реагировать на отзывы пользователя о своих композициях, после чего она изменяет композиции в соответствии с решениями "да" или "нет". Это, конечно, влияет на ее композиции, а также ставит под сомнение оригинальность ее работы.
Программа Emily Howell моделирует музыкальное творчество, основанное на типах творчества, описанных британской ученой, профессором когнитивной науки Маргарет Боден в ее книге "Творческий разум: мифы и механизмы" (1991).
По мнению Коупа, одним из основных преимуществ композиции искусственного интеллекта является то, что он позволяет композиторам гораздо более эффективно экспериментировать. По его словам, у композиторов, живших до появления персональных компьютеров, были определенные практические возможности, которые ограничивали их, а именно то, что для превращения идеи в композицию могли потребоваться месяцы работы. Если произведение не соответствует обычному стилю композитора, возрастает риск того, что эта композиция может оказаться ужасной, потому что она не будет построена на тех приемах, которые использовались раньше и которые, как известно, обычно работают.
"С помощью алгоритмов мы можем экспериментировать, создавая произведение за 15 минут, и мы можем сразу узнать, сработает оно или нет", - объясняет Коуп.
В 90-е интерес к алгоритмизации процесса создания музыки добрался и до большой сцены. Одним из первых, кто начал думать в этом направлении, стал знаменитый британский рок-певец Дэвид Боуи. Совместно с Тайем Робертсом он разработал The Verbasizer – программу, в которую можно было загружать слова и фразы, а она переставляла их местами, создавая новые формы, то есть генерировала случайные предложения – они служили вдохновением для написания текстов. Певец называл эту технику "техникой нарезки". Результаты этой работы можно услышать на треках “Берлинской трилогии”. Боуи продолжил использовать ее и в будущем. Она помогла ему написать, к примеру, текст песни Outside...
Д. Боуи. Outside
Генеративная музыка: что это такое, и когда она появилась
В 1995 году британский музыкант Брайан Ино (род. в 1948), один из основателей жанра эмбиент, придумал определение "генеративная музыка". Ино нравилась идея, что такая музыка предоставляет слушателю постоянно меняющееся произведение, но также избавляет от обязанности постоянно выпускать альбомы. Генеративная музыка строится на трех принципах: композиция генерируется на основе заранее созданных или запрограммированных правил здесь и сейчас, и при этом должна постоянно меняться; она не должна повторяться, или хотя бы повторяться так, чтобы слушатель этого не заметил; она должна длиться вечно, ну или длиться столько времени, чтобы наблюдатель просто перестал слушать и ушел.
Настоящая генеративная музыка на данный момент выглядит так: это набор алгоритмов и сетей глубокого обучения, которые когда‑то получили большое количество коротких и связанных звуков в каком‑то жанре. Во время такого машинного обучения система на базе полученных представлений пыталась предположить, какой звук должен идти дальше. Если она угадывала, то между этими звуками формировалась связь. На основе этих связей между отдельными элементами мелодии система позже собирает свой трек.
Брайан Ино познакомился с новой программой Koan, выпущенной компанией SSEYO, и заинтересовался не только радикальным на тот момент способом создания музыки без нот, при помощи одной только графики, но и теми возможностями, которые открывались перед композитором благодаря машинной алгоритмической генерации. Вдохновленный Ино провозгласил скорую революцию в музыке и выпустил в 1996 году альбом Generative Music 1, записанный с помощью программы Koan. Однажды Ино подсчитал, что потребуется почти 10 000 лет, чтобы услышать все возможные варианты отдельного произведения генеративной музыки.
6 мест, где можно послушать генеративную музыку сейчас:
В настоящее время генеративная музыка почти никак не применяется в коммерческих проектах. Но перспективы огромные: от озвучивания общественных пространств (кафе, ресторанов, магазинов) и рекламных роликов до озвучивания объектов жилой недвижимости. Генеративная музыка в будущем может быть полезной, "функциональной" и служить каким-то определенным целям — личным или коммерческим, как музыкальный фон:
для расслабления, снижения стресса;
для фокуса внимания (офисы, рабочие пространства);
для бодрости (спортивные центры);
для развлечения (индустрия огромна);
для вовлечения (фильмы, игры, ролики, любой медиа-контент);
как возможность задуматься (арт-объекты).
Да и для персонального прослушивания это подойдет. С течением времени нас будет вечно окружать музыка, которую написали специально для нас. Когда‑нибудь генеративный поток подключится к мозгу и через нейроинтерфейс научится менять музыку в зависимости от уровня дофамина и других нейромедиаторов. Также он, возможно, научится подбирать музыку под погоду, время суток, поведение, настроение и местоположение слушателя - создаст уникальный трек, которого больше ни у кого не будет....
На протяжении второй половины XX века родилось множество алгоритмов, создающих музыку. Самыми используемыми в последние несколько десятилетий подходами к решению задачи алгоритмической композиции можно назвать несколько техник – Л-система (или система Линденмайера), клеточные автоматы (дискретные модели), генетические алгоритмы, нейронные сети.
В 1975 году американский ученый Джон Холланд (1929—2015) впервые предложил в Мичиганском университете так называемый генетический алгоритм (ГА). Генетический алгоритм — это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путем случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, аналогичных естественному отбору в природе.
Целесообразность применения ГА для моделирования музыкального творчества обосновали профессор кафедры компьютерных наук Гонг–Конгского университета Эндрю Хорнер и профессор кафедры индустриальной инженерии Университета Иллинойса Дэвид Голдберг в 1991 году.
Первыми успешными практическими исследованиями в области применения генетических алгоритмов в генеративной музыке можно считать изыскания ученого и музыканта Джона Байлса — профессора Рочестерского института технологий (Нью–Йорк, США). В 2012 году он использовал ГА для имитации джазовой импровизации в собственном ПО GenJam (Genetic Jammer — Генетический Джэммер). Алгоритм подстраивается под игру музыканта и становится полноценным музыкальным партнером. Данная программа читает заранее подготовленные с помощью программы Band–In–A–Box MIDI файлы, включающие партию аккордов пианино, баса, ритм–секции, и генерирует соло. Оценка происходит посредством человеческого восприятия. Посредством команд "g" или “b” ("good" or "bad") слушатель оценивает сгенерированные куски как удачные или нет.
Новаторская сущность GJ заключается в двух особенностях — во–первых, GJ оперирует двумя популяциями — тактов и фраз, а также использует целую популяцию тактов и фраз для построения соло, а не один "лучший" отрывок.
Аналогичный алгоритм GenBebop был разработан американскими учеными-когнитивистами Ли Спектором и Адамом Алперном для соло импровизаций в стиле американского джазового саксофониста Чарли Паркера.
В 2010 году исследователями из Университета Малаги (Испания) был создан ИИ, ориентированный на музыку, под названием Iamus. Это была первая программа, создавшая симфоническую композицию в своем собственном стиле (вместо того чтобы подражать стилю существующих композиторов). Первый музыкальный фрагмент ее "сочинения" Opus One был написан 15 октября 2010 года, а ровно через год появилась первая полная композиция Hello World!
Произведения Iamus были записаны Лондонским симфоническим оркестром и составили альбом Iamus, который британский журнал New Scientist отметил как первый полный альбом, созданный исключительно компьютером и записанный музыкантами-людьми.
Музыканты исполняют композицию "Hello World",
полностью сочиненную компьютером Iamus
Iamus - это компьютерный кластер. Приведенный в действие технологией Melomics, модуль создания Iamus занимает 8 минут, чтобы создать полную композицию в различных музыкальных форматах, хотя собственное представление может быть получено всей системой менее чем за секунду.
"До Iamus большинство попыток создания музыки было ориентировано на подражание предыдущим композиторам, предоставляя компьютеру набор партитур / MIDI-файлов", - говорит ведущий исследователь и основатель Melomics Франсиско Хавьер Вико. "Iamus был новинкой в том, что он разработал свой собственный оригинальный стиль, создавая свои работы с нуля, не подражая никакому автору".
Вико отмечает, что это стало настоящим шоком. Iamus поочередно провозглашали то ответом XXI века Моцарту, то создателем поверхностного, сухого материала, лишенного души. Однако многими это было воспринято как знак того, что компьютеры быстро догоняют людей в их способности писать музыку. Вы можете решить для себя, посмотрев, как Филармонический оркестр Малаги исполняет Adsum Ямуса:
Adsum
Исп. Филармонический оркестр Малаги
Дирижер Хосе Луис Эстельес
Вскоре после этого был создан Melomics109, написавший альбом 0music. Композиции, написанные компьютерами, не обязательно нуждаются в редактировании людьми. Некоторые из них, например, те, что находятся в альбоме 0music, подходят для самостоятельной работы:
0music 11
Те, кто пишет музыку, говорят, что нет причин опасаться такого прогресса со стороны машин. Музыка, созданная искусственным интеллектом, не оставит без работы профессиональных композиторов, авторов песен или музыкантов.
Профессор Коуп просто излагает ситуацию. "У нас есть композиторы, которые являются людьми, и у нас есть композиторы, которые не являются людьми", - объясняет он, отмечая, что есть человеческий элемент в нечеловеческих композиторах - данные, которые обрабатываются, чтобы сделать композицию возможной, выбираются людьми, и, помимо глубокого обучения, алгоритмы также написаны людьми.
Коуп считает опасения вычислительной креативности необоснованными, поскольку они опровергают высокомерие человечества. "Мы могли бы делать удивительные вещи, если бы просто немного отказались от нашего эго и попытались бы не противопоставлять себя нашим собственным творениям - нашим собственным компьютерам, - а принять нас двоих вместе и тем или иным образом продолжать расти", - отмечает он.
И это действительно так. Например, в мире видеоигр музыка, генерируемая компьютером в реальном времени, является благом, потому что ее адаптируемость соответствует непредсказуемому характеру игры. Многие игры динамически изменяют последовательность звуковых дорожек или регулируют темп и добавляют или удаляют слои инструментов, когда игроки сталкиваются с врагами или перемещаются в разные части истории или окружающей среды. Некоторые из них, в том числе, в первую очередь, Spore от SimCity и разработчик The Sims Maxis, используют алгоритмические музыкальные техники для организации приключений игроков.
Композитор Дэниел Браун пошел еще дальше с этой идеей в 2012 году, создав Mezzo AI, который создает саундтреки в реальном времени в неоромантическом стиле на основе того, что персонажи в игре делают и переживают. Другие программные приложения также могут извлечь выгоду из такого подхода. Появляются новые приложения, такие как сервис потоковой передачи музыки @life от Melomics, которые могут создавать персонализированную музыку настроения на лету. Они учатся на нашем поведении, реагируют на наше местоположение или физиологическое состояние. Такой себе непрерывный пожизненный плейлист, который автоматически адаптируется к индивидуальным музыкальным потребностям. Выбрав сценарий, пользователь указывает, в какой ситуации он находится (например, за рулем автомобиля, бежит трусцой или помогает своему ребенку заснуть), смартфон будет отслеживать активность своего хозяина и, соответственно, воспроизводить музыку.
Музыка, настроенная на конкретную ситуацию, может уменьшить боль или вероятность ее ощущения, отвлекая пациентов. В настоящее время проходят тестирование приложения, которые используют музыку, созданную на компьютере, чтобы помочь при расстройствах сна и тревоге.
Над алгоритмами создания музыки при помощи искусственного интеллекта работают как гиганты технологической индустрии, так и относительно мелкие стартапы. Все они преследуют разные цели и задействуют разные методики, но конечный результат хотят получить один – музыку, которая будет генерироваться без помощи человека.
Весной 2016 года поисковый гигант Google анонсировал проект Magenta, в рамках которого компания попыталась развить креативные возможности машин в сфере музыки и визуального искусства. В основу проекта легли богатые наработки подразделения Google Brain team, которое занимается вопросами машинного интеллекта. Команда продемонстрировала первые простейшие мелодии, сгенерированные ИИ. Это проект с открытым исходным кодом, посредством которого программисты и разработчики ПО могут создавать свои собственные уникальные продукты. Одним из таких продуктов является предиктор нот – устройство, модулирующее звуковые ряды, то есть способное сочинять музыку. Получив несколько нот от человека в качестве входящих данных, алгоритм экстраполирует их, опираясь на базу музыкальных файлов в своей памяти.
Первый проект, который был выпущен Magenta, — это достаточно простая мелодия, основанная на первых четырех нотах детской песни “Twinkle Twinkle Little Star”. Работа была выполнена исследователем Google Элиотом Уайтом. Созданная компьютером мелодия начинается простыми нотами, сочиненными на электронном пианино. Но вскоре она становится все более сложной и утонченной. Песня даже содержит несколько действительно хороших музыкальных фраз (ударные были добавлены позже, человеком):
Компьютеры VS Бах
Математики давно пытаются разобраться в логической структуре музыки великого немца. В качестве эксперимента Гаетан Хаджерес и Франсуа Паше, инженеры парижского филиала Sony Computer Science Laboratories, научили нейросеть стилизовать сочиненные хоралы под Баха. Система была создана на базе программной библиотеки TensorFlow (Google) и получила название DeepBach. Эта модель, основанная на методе LSTM (нейронная сеть с долгой краткосрочной памятью), далеко не первая, но самая успешная попытка научить машины создавать полифоническую музыку в стиле Позднего Средневековья и барокко.
Задачей искусственного интеллекта в данном случае было не создание уникального произведения, а предсказание, как мог бы его написать Бах. Для машинной композиции это, конечно же, очень непростая задача: для этого нужно скомбинировать четыре гармонических линии с характерным ритмическим и мелодическим рисунком, который начинается, развивается и заканчивается в определенном ключе.
Для обучающей выборки инженеры взяли 389 хоралов Баха. Каждый хорал примерно минутной длительности, написан для четырех голосов (сопрано, альт, тенор и бас) на базе общих композиционных принципов: композитор использует хорошо известную для своего времени мелодию лютеранского гимна и гармонизирует ее, то есть пишет три нижних голоса (альт, тенор и бас), в то время как линия сопрано исполняет основную мелодию гимна. Всего в программе DeepBach четыре нейронных сети — две строят "прогнозы" на базе предыдущих и будущих нот соответственно, одна делает предсказание в зависимости от нот, которые звучат одновременно с предсказываемой, и еще одна сеть суммирует идеи предыдущих.
Инженеры отмечают быстродействие алгоритма — новые образцы можно получать за считанные секунды.
Чтобы проверить, насколько эффективно работает модель, исследователи провели опрос 1600 человек, среди которых были 400 профессиональных музыкантов. Им прокрутили отрывки, созданные нейросетью, а также оригинальные хоралы Баха. Около половины респондентов приняли результат работы алгоритмов за настоящую музыку великого композитора.
Попытки алгоритмической стилизации Баха предпринимались и раньше: первая подобная работа 1988 года описывала алгоритм сочинения музыки на базе экспертных правил звучания "в стиле Баха", который включал порядка 300 ограничений, в сумме обеспечивающих "бахоподобное" звучание. Алгоритм требовал исключительного знания особенностей композиции, а результаты в целом не были похожи на музыку Баха, за исключением некоторых каденций и мелодических рисунков.
Новые опыты по автоматической композиции на основе нейронных сетей были проведены в 1992 году: в работе использовалось несколько нейронных сетей, каждая была нацелена на решение отдельной задачи: составление общего гармонического скелета, детализация и финальная аранжировка.
Наконец, агностический подход, не требующий экспертных правил, был применен в 2012 году: работа основана на использовании рекуррентных нейронных сетей (форма обучения ИИ, которая позволяет программе предсказывать входящие последовательности данных на основе уже обработанных); и самый свежий пример 2016 года — Bachbot на базе LSTM — показал хорошие результаты, однако, позволял сочинение в одном музыкальном ключе и не давал возможностей пользователю задать ритм или начальные ноты:
В дальнейшем инженеры планируют разработать графический редактор поверх созданного алгоритма для интерактивного использования машины DeepBach. Они отмечают, что их метод применим не только к хоралам Баха, но и любой другой полифонической хоральной музыке от Палестрины до американского вокального секстета Take 6:
DeepBach. Гармонизация в стиле Баха
Одной из наиболее убедительных попыток компьютерного музыкального творчества стал алгоритм Continuator, разработанный уже упомянутым французским ученым и композитором Франсуа Паше в Sony Computer Science Laboratory. Это система интерактивной музыкальной импровизации в реальном времени. В ее основе — цепь Маркова. Это принцип, по которому состояние текущего фрагмента зависит от предыдущего. Данный алгоритм может продолжать сочинять музыкальное произведение с того места, где остановился живой композитор. В тесте Тьюринга, в котором Continuator джемил с профессиональным пианистом, большинство слушателей не смогли угадать искусственное происхождение его мелодий:
Continuator джемит с профессиональным пианистом для теста Тьюринга
Для справки: что такое музыкальный тест Тьюринга
Как понять, что музыкальное произведение, созданное машиной, действительно достойно нашего внимания? Для проверки работы систем искусственного интеллекта в 1950 году А. Тьюринг предложил идею эмпирического теста. Принцип его заключается в том, что человек взаимодействует с компьютерной программой и с другим человеком. Мы задаем вопросы программе и человеку и пытаемся определить, с кем же мы разговариваем. Тест считается пройден программой, если по его итогу человек не осознает, что коммуницировал с машиной. Кстати, таким же образом был протестирован и описанный выше алгоритм DeepBach.
Продолжая тему, упомянем британский стартап Jukedeck, который также разработал искусственный интеллект, пишущий музыку с помощью нейронных сетей. Основатель стартапа Эд Ньютон-Рекс по образованию композитор. Он работал над проектом Jukedeck с 2014 года — со временем его команда выросла до 20 человек и смогла привлечь $3,1 миллиона инвестиций. Один из сервисов компании позволяет интерпретировать видео и автоматически создавать под него музыку практически в любом стиле.
Еще один метод, которым пользовались для создания музыки с помощью ИИ, это эволюционные алгоритмы. Именно их использует проект британских ученых DarwinTunes. Согласно его основному принципу, любой желающий может прослушать различные отрывки музыки и выбрать из них те, что понравились больше всего. Прошедшие такой "естественный отбор" фрагменты эволюционируют, то есть воспроизводятся в новых вариациях.
С помощью этих методов действительно можно сочинять неплохую музыку, однако у них всегда есть ограничения. Либо они слишком зависят от теории музыки, либо все сводится к индивидуальным предпочтениям человека, который отбирает лучшие образцы...
Другой рекордсмен в области машинной музыки — созданная в Люксембурге в феврале 2016 года AIVA — специализируется на сочинении симфонической музыки для кино. Кстати, AIVA считается первым в мире виртуальным артистом, которого удалось зарегистрировать как композитора. Следовательно, все плоды труда этого ИИ защищены авторским правом. Глава проекта Пьер Баррю рассказал, что в основе работы AIVA поистине гигантская база классической музыки, которая переведена в формат MIDI и загружена. Он назвал главным умением "электронного композитора" создавать собственные паттерны. Кроме того, AIVA умеет "предсказывать", каким будет развитие музыкальной темы в случайно выбранном паттерне. Также ИИ умеет с вероятностью 100% находить у самого себя плагиат и удалять его. В 2018 году данная нейросеть за 72 часа завершила пьесу чешского композитора Антонина Дворжака "Из мира будущего", которая оставалась неоконченной 115 лет:
В 2016 году лаборатория компьютерных наук Sony представила первую полноценную песню Daddy’s Car в рамках проекта Flow Machines. Для написания песни программа искусственного интеллекта FlowComposer предложила варианты мелодий и текст, которые она сгенерировала на основе оригинальных произведений The Beatles, но дальнейшая аранжировка была выполнена человеком. Получились убедительные шестидесятые, без намека на постиронию:
Daddy’s Car
Со времен первых исследований Дэвида Коупа наука сделала широкий шаг вперед. Новые компьютерные алгоритмы, которые в какой-то степени отображают алгоритмы деятельности нейронов в человеческом мозге, позволили машинам запоминать информацию и учиться. Искусственный интеллект научился обрабатывать неструктурированные данные и частично понимать даже достаточно сложную музыку.
Исследователи Королевского Технического Института в Стокгольме и Кингстонского университета в Лондоне разработали так называемую "фолк-машину", которая за 14 часов выдала более 100 тысяч новых вариаций фолк-музыки. Таким количеством "произведений" не может похвастаться даже самый плодовитый композитор всех времен и народов – немец Георг Телеман, в арсенале которого более трех тысяч разнообразных композиций.
Специалисты использовали традиционный метод распознавания информации, известный как уже упомянутая РНС – рекуррентная нейронная сеть. Для "тренировки" программы исследователи загрузили в нее 25 тысяч традиционных кельтских и английских песен. Компьютер создавал произведения не с помощью запрограммированных правил - он использовал предоставленные ему шаблоны, видоизменял их и совмещал таким образом, чтобы конечный результат соответствовал характеристикам оригинальных произведений.
Современные ученые считают, что в будущем целые ансамбли роботов смогут исполнять сочиненные ими произведения. Возможно, это будущее куда ближе, чем нам кажется. Говорить человеческим голосом компьютеры научились еще несколько лет назад, а вот с пением было сложнее, так как генерировать реалистичный человеческий голос - задача не из простых. Не так много примеров, которые бы показали удачные результаты. В 2016 году лондонская команда дочерней компании Google DeepMind решила развивать подобный концепт в рамках нового проекта WaveNet. WaveNet - это глубокая нейронная сеть для генерации необработанного звука. Специалисты создали ряд аудио моделей, на основе которых ИИ сможет подражать человеческому голосу. Таким образом, ИИ сможет не просто сочинять музыку, но и исполнять собственные произведения. Результат впечатляет. Прослушать то, что получилось, можно здесь.
В апреле 2020 года в ByteDance AI Lab (лаборатории китайской компании, создавшей знаменитый TikTok) создали алгоритм ByteSing. Эта система на основе нейросетевых автокодировщиков позволяет генерировать очень реалистичное пение на китайском языке.
Изобретатели также работают над созданием машин, способных генерировать полноценные осмысленные тексты. В 2015 году финскими учеными был разработан Deepbeat – алгоритм машинного обучения, который генерирует рэп-тексты на основе уже существующих песен в этом жанре. Исследователи из Антверпенского университета и Амстердамского Института загрузили в программу Deepbeat коллекцию рэп и хип-хоп композиций, а алгоритм по обработке языка выдал им готовую песню. Текст этого "произведения" хоть и был богат на всевозможные ругательства, но выглядел вполне реалистично. Настолько реалистично, что ученые разработали онлайн игру, в которой участники должны выбрать, какие из предложенных текстов действительно существуют, а какие были сгенерированы программой...
С появлением современных компьютеров и технологий к процессу создания систем написания музыки стало подключаться все большее количество людей и компаний. Например, Тарин Саузерн, американская певица, художница, писательница, режиссер и автор песен, в 2017 году выпустила альбом, написанный ИИ.
В официальном анонсе было указано, что весь альбом I AM AI ("Я – искусственный интеллект") создается в соавторстве с неизвестным публике музыкантом Amper. Однако не вызывающий на первый взгляд никаких подозрений творческий дуэт оказался вовсе не тем, что можно было ожидать.
В качестве инструмента американка выбрала стартап Amper Music. Это программа, которая при помощи внутренних алгоритмов способна выдавать наборы мелодий в соответствии с заданным жанром и настроением. Инструментарий был составлен с использованием искусственного интеллекта, тексты песен и вокальные мелодии написала Тарин.
Проект Ампер – первый в истории искусственный интеллект, выпустивший собственный музыкальный альбом. В чем его уникальность? ИИ, генерирующие музыку, существовали и до него, однако ранние модели работали по определенному алгоритму, и итоговый продукт требовал серьезной переделки человеком, вплоть до изменения аккордов и целых частей мелодии, прежде чем мог считаться полноценным музыкальным произведением. Ампер же не нуждается в помощи, когда создает собственные треки, – он самостоятельно подбирает необходимые звуки и выстраивает структуры аккордов. Обрабатывающему полученную в итоге мелодию человеку остается только подкорректировать ритм и стилистику – все остальное Ампер делает сам всего за несколько секунд:
Тарин Саузерн. Break Free
На другой стороне музыкального спектра группа Dadabots в лице музыкантов и программистов из Бостона Си Джея Карра и Зака Зуковски использует ИИ, чтобы создавать новые композиции в стиле Technical Death Metal (экстремальный поджанр метала). Этот самообучающийся искусственный интеллект работает на основе уже знакомого нам метода: анализируя существующие записи композиций, он генерирует новые гибридные комбинации, а Си Джей и Зак сочетают полученные звуки на свой вкус. То есть DADABOTS с помощью системы предсказаний учится писать музыку.
В 2017 году Зуковски и Карр опубликовали статью о генерации тяжелой музыки нейросетью. За основу была взята нейронная сеть GPT-2, которую используют для генерации связных текстов. GPT-2 обучили на 40 Гб постов с социальной сети Reddit, а затем провели настройку на треках Cannibal Corpse - американской группы, песни которой посвящены в основном насилию, смерти, перверсиям, людоедству и зомби, и которая считается эталоном брутального дэт-метала. В результате им удалось сымитировать музыку этой группы.
По словам создателей нейросети, сначала она постоянно пела о политике. "Нам пришлось все это немного отфильтровать. Теперь нейросеть просто убивает людей", - полушутя говорит один из создателей Карр.
Ранние эксперименты включали множество других жанров, прежде чем дуэт открыл для себя метал и панк-музыку, которые, как оказалось, лучше всего даются искусственному интеллекту:
"Мы заметили, что электронная и хип-хоп музыка поддаются нейронной сети для обучения не так же хорошо, как органические и электроакустические композиции", — пишут музыканты в своей последней статье. "Музыкальные жанры, такие как метал и панк, кажется, работают намного лучше, возможно, потому, что странные артефакты нейронного синтеза (шум, хаос, гротескные мутации голоса) эстетически соответствуют этим стилям. Кроме того, их быстрый темп и применение свободных техник исполнения хорошо согласуются с ритмическими искажениями SampleRNN (инструмент для обучения нейронных сетей генерации звука)".
На данный момент нейронная сеть уже выпустила несколько альбомов, вдохновленных такими музыкальными группами, как Dillinger Escape Plan, Meshuggah и NOFX. Также, помимо создания музыки, были созданы алгоритмы для генерации оформления обложки альбомов и названий треков.
Новый интересный проект Dadabots - это прямая трансляция на YouTube под названием "Relentless Doppleganger". С дэт-металом выходные данные были настолько хороши, что музыканты запустили прямой эфир, который бесконечно воспроизводит все, что генерирует нейронная сеть, в режиме реального времени. Результатом является душераздирающе интенсивный поток непрерывного дэт-метала.
Подобные технологии находятся только на ранней стадии развития, но Карр и Зуковски уверены, что следующие поколения программ ИИ будут гораздо проще в применении, а их работа будет больше соответствовать пожеланиям слушателей. Музыканты хотят и дальше развивать свой проект. В будущем команда планирует сделать Dadabots интерактивной системой, но как именно это будет работать, пока не сообщается...
В 2017 году российская компания "Яндекс" представила нейросеть, пишущую музыку в стиле композитора Александра Скрябина. Авторы нейросети - сотрудники Яндекса Алексей Тихонов и Иван Ямщиков. На конференции YaC-2017 увертюру нейросети исполнил камерный ансамбль струнных и терменвокса...
Такое тесное сотрудничество людей и машин в скором будущем сотрет границы между авторами и потребителями продукта. Человечество уже находится на пороге эры гипер-персонализации, когда клиенты ожидают от услуг полного соответствия их предпочтениям. Алгоритмы, которые производят творческую работу, имеют значительную выгоду с точки зрения времени, энергии и денег, поскольку они сокращают потраченные впустую усилия на неудачные идеи. Например, условно-бесплатное приложение для Windows Easy Music Composer - один из десятков доступных сейчас инструментов, которые могут помочь композиторам, создавая частичные или полные композиции из заданных переменных. Такие инструменты, как Liquid Notes, Quartet Generator, Easy Music Composer и Maestro Genesis, берут на себя рутинную часть работы композиторов, выступая ценными помощниками. Они освобождают композиторов и генерируют музыкальный эквивалент предложений и абзацев с непревзойденной легкостью, их преимущество в том, что они выполняют сложную часть перевода абстрактной идеи или намерения в ноты, мелодии и гармонии.
В 2019 году в сети появился сайт с музыкой, которую пишет искусственный интеллект.
Пользователь Reddit представил онлайн-библиотеку Evoke Music, где собрана большая коллекция музыки, которую написала нейросеть Amadeus Code. Ее можно бесплатно качать и использовать как угодно. Пользователь может выбирать жанр, настроение, музыкальный инструмент или другие ключевые слова, по которым и осуществляется поиск треков.
В том же году американский концерн Warner Music заключил первый в истории контракт с исполнителем — алгоритмом Endel. По условиям контракта, нейросеть Endel должна выпустить 20 уникальных альбомов с генеративной музыкой, которая поможет сосредоточиться, расслабиться или уснуть.
Apple Music, Deezer и Spotify уже используют технологии ИИ, чтобы предлагать слушателям новую музыку, которая бы им наверняка понравилась. Разработчики Google Play пошли еще дальше: приложение анализирует информацию вроде местоположения пользователя, его увлечений и даже погоды, чтобы в нужный момент предложить подходящую песню. Некоторые устройства, например, смарт-колонка Echo от Amazon оснащена функцией DeepMusic, которая позволяет пользователям генерировать собственные треки и сразу же проигрывать их.
От рока до хип-хопа: искусственный интеллект OpenAI научился создавать музыку с вокалом
В 2020 году американская исследовательская компания OpenAI, одним из основателей которой является предприниматель Илон Маск, представила Jukebox — искусственный интеллект, сочиняющий музыку в различных жанрах с осмысленными текстами и вокалом. Она может сгенерировать даже элементарный голос, а также различные музыкальные инструменты.
Система Jukebox обучалась на основе множества отрывков из песен самых разных жанров, от классического рока до хип-хопа. Подобно тому, как другие нейронные сети способны имитировать стили рисования знаменитых художников, новый проект OpenAI может создавать музыкальные композиции как у исполнителей, на треках которых он обучался.
"Мы представляем Jukebox, нейронную сеть, которая генерирует музыку, в том числе примитивное пение, в виде необработанного звука в различных жанрах и стилях исполнителей... Мы показываем, что наши модели искусственного интеллекта могут создавать песни на основе самых разных музыкальных жанров, таких как рок, хип-хоп и джаз. Они могут создать мелодию, ритм и тембры для самых разных инструментов, а также стили и голоса певцов, которые будут звучать вместе с музыкой", — объяснили представители OpenAI.
Основная идея состоит в том, что они берут необработанный звук и кодируют его с помощью сверточных нейронных сетей (CNN). Представьте это, как способ сжать большое количество переменных до меньшего. Такая мера необходима, поскольку в звуке 44 100 переменных только в одной секунде, а в песне их много. Затем они производят процесс генерации этого уменьшенного набора переменных и распаковывают обратно до 44 100.
Компания обучает искусственный интеллект сочинению музыки далеко не первый год. Ранее она уже демонстрировала возможности системы Musenet, которая самостоятельно сочиняла полноценные MIDI-композиции. Но искусственный интеллект, способный создавать песни разных жанров с вокальными партиями, это для нее нечто новое. Разработчики опубликовали результаты работы Jukebox на специальном сайте.
В этом же году разработчики приложения Endel, генерирующего музыку, которая подстраивается под окружающую среду, выпустили коллаборацию с канадской певицей Grimes — бесконечную колыбельную, основанную на ИИ. Певица предложила стартапу сотрудничество, когда искала альтернативу белому шуму для ее с Илоном Маском сына. Для приложения Граймс написала музыкальную основу, которую ИИ разбирает на части и на ходу составляет из них бесконечный музыкальный поток. Эта колыбельная, как и основная мелодия Endel, будет меняться в зависимости от времени суток, погоды за окном слушателя, его занятий и даже пульса:
Евровидение для нейросетей
В 2020 году в Нидерландах прошло "Евровидение" для нейросетей. Все дело в том, что голландцы, экспериментируя с написанием песен при помощи искусственного интеллекта, непреднамеренно создали новый музыкальный жанр: Eurovision Technofear. И было принято решение провести полноценный конкурс песен, написанных с помощью ИИ.
Так появился Artificial Intelligence Song Contest, неофициальный аналог "Евровидения". В конкурсе участвовали 13 команд из Австралии, Швеции, Бельгии, Великобритании, Франции, Германии, Швейцарии и Нидерландов. Они должны были обучить нейронные сети на существующей музыке и текстах, чтобы те смогли полностью сгенерировать новые произведения. Оценивали творчество команд слушатели и эксперты по машинному обучению.
Первое место отдали песне, созданной на основе звуков коал, кукабар и тасманских дьяволов. В песне говорится о пожарах в Австралии. Но, как это часто бывает, всеобщее внимание приковал к себе не победитель, а исполнитель, занявший третье место. Команда голландских ученых Can AI Kick It представила песню Abbus, буквально пронизанную анархистскими, революционными идеями, чем вызвала гораздо больший резонанс:
Abbus
Участники команды хотели создать песню с глубоким смыслом, отражающую национальные мотивы, но в то же время хорошо воспринимаемую слушателями из разных стран. Для этого они загрузили в облако:
250 наиболее известных произведений Евровидения. Среди них "Ватерлоо" Аббы (победитель Швеции в 1974 году) и "Эйфория" Лорин (2012, также Швеция);
5000 поп-песен разного времени;
Народный фольклор, включая государственный гимн Королевства Нидерланды от 1833 года (взяли из базы Meertens Liederenbank);
Базу данных с текстами с платформы Reddit (для "обогащения" языка).
Трек описывают как "дуэт" между ИИ и артистом Вилли Вартаалом, текст трека был в значительной степени написан машиной и заканчивается противоречивой строкой: "мы хотим революции, убьем правительство, убьем систему!":
Посмотри на меня, революция,
Это будет хорошо.
Это будет хорошо, хорошо, хорошо,
Мы хотим революции!
Сказать, что голландская команда была удивлена результатом — это значит слукавить. Они были ошарашены и стали искать причину революционного настроя искусственного интеллекта. Ответ нашелся быстро...
Как и в случае со знаменитым чат-ботом Tay от Microsoft, который начал генерировать расистские и сексистские мысли после обучения в Твиттере, да и вообще быстро пошел вразнос, после чего был отключен (запущенный 23 марта 2016 года, за сутки он фактически возненавидел человечество), проблема заключалась в человеческих источниках данных, а не в алгоритмах ИИ. Реддиторы – весьма своеобразная публика, свободно обсуждающая на форуме самые разные вопросы. И не всегда обсуждения эти миролюбивые и объективные. Поэтому да, обучение на базе Reddit значительно обогатило язык машины. Но заодно подарило некоторые особенности дискуссий на этой онлайн-платформе. Как результат – песня с анархистским уклоном, в чем-то похожая по смыслу с "Хочу перемен" группы "Кино".
Несмотря ни на что, команда все же решила использовать именно эту песню для участия в конкурсе. Хотя бы для того, чтобы показать опасности применения ИИ даже в относительно безвредной попсовой среде.
Конкурс оказался настолько интересным, что создатели решили проводить его на регулярной основе. В 2021 году регламенты проведения мероприятия уже не ограничивались рамками "Евровидения" – песни можно было писать в любых жанрах и стилях. В этом году конкурс собрал уже 83 команды, а победила песня Listen To Your Body ("Слушай свое тело") американского коллектива M.O.G.I.I.7.E.D...
Группа энтузиастов из Израиля также решила проверить, способен ли компьютер написать песню, которая достойна выиграть Евровидение? Команда проекта загрузила сотни песен Евровидения — мелодии и тексты — в нейронную сеть. Алгоритмы выдали множество новых мелодий и рифмованных строк. Наиболее интересные из них были "сведены" в песню под названием Blue Jeans & Bloody Tears ("Голубые джинсы и кровавые слезы"). Голоса в треке принадлежат компьютеру и первому победителю Евровидения от Израиля — Изхару Коэну (1978). Эта песня, по мнению участников проекта, полностью отражает дух Евровидения, поскольку в ней есть элементы китча, юмора и драмы:
Blue Jeans & Bloody Tears
Юристы тоже в теме
Пока в Европе наслаждаются созданием музыки, в США уже думают, кому должны принадлежать авторские права на творчество. После того как один программист выложил в сеть несколько произведений, в которых использовался голос американского рэпера Jay Z, его представители отправили сразу несколько жалоб, требуя немедленно удалить эти произведения с YouTube. В том числе и зарифмованный текст Шекспира. Суть претензий в том, что "этот контент незаконно использует ИИ для олицетворения голоса нашего клиента". С другой стороны, творчество Шекспира – народное достояние. И удалять его из-за проблем с авторскими правами как-то странно:
Возникают вопросы о том, что именно здесь нарушается, если синтезированный на базе знаменитости голос просто начитывает оригинальный контент. Заметим, что после первоначального удаления видео YouTube восстановил их. Именно по причине недостаточно убедительных аргументов со стороны правообладателей о нарушении прав...
Искусственный интеллект создает музыку буквально с неба
Microsoft и неординарная исландская певица и продюсер Бьорк научили искусственный интеллект реагировать на изменения погоды и создавать на этой основе музыку. В начале января 2020 года в вестибюле нью-йоркской гостиницы Sisters City состоялась презентация необычной музыкальной инсталляции с использованием искусственного интеллекта от Microsoft. Проект получил название "Kórsafn", что на исландском языке означает "хоровой архив". Это нескончаемый, живой и динамичный звуковой пейзаж из хоровых композиций.
Его изюминка состоит в том, что для получения неповторимой музыкальной композиции искусственный интеллект в реальном времени получает детальные изображения внешнего мира вокруг отеля. Для этого на крыше Sisters City были расположены видеокамеры. ИИ распознает разные типы облаков и их плотность, наличие в кадре птиц или самолетов, разные атмосферные явления, восход и закат, и превращает это в музыку.
Известно, что для генерации новых аранжировок были использованы вокальные произведения из музыкального наследия Бьорк за последние 17 лет. Кроме голоса самой певицы, инсталляция содержит записи исландского хора Hamrahlid Choir. Ранее он вместе с Бьорк участвовал в экспериментальном театральном шоу "Cornucopia".
Microsoft позволил системе совершенствоваться в процессе реализации проекта, таким образом постоянно усложняя мелодию. К примеру, он может по-разному реагировать на гром и молнию, анализировать интенсивность дождя и самостоятельно изучать разные погодные явления для постоянной генерации новых хоровых сплетений. Результатом стал магический ряд музыкальных вариаций, создающих незабываемое настроение для посетителей и жителей нью-йоркской гостиницы:
Kórsafn
Система генерирует слова песни по музыке в реальном времени
В 2021 году исследователи из канадского Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.
Ольга Вечтомова, автор исследования, и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.
Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Они помогают системе определить, какие типы текстов подходят для конкретной музыки.
Основная характеристика, которая отличает LyricJam от других генераторов текстов, заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, "отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп", поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали.
Демонстрация работы LyricJam
Искусственный интеллект сочиняет музыку Бетховена
Машину научили думать как Бетховен, и она завершила незаконченное произведение гениального немецкого композитора. После того как компьютеры завершили незаконченные сочинения Густава Малера, Антонина Дворжака и Франца Шуберта, настала очередь Десятой симфонии Людвига ван Бетховена. Мировая премьера произведения, сохранившегося лишь в отдельных набросках и реконструированного с помощью искусственного интеллекта, состоялась спустя почти 195 лет после смерти Бетховена в Бонне, городе, где он родился в 1770 году.
Бетховен не успел закончить Десятую симфонию до своей смерти в Вене и оставил лишь несколько коротких набросков и заметок в своих черновиках. На их основе группа экспертов, в которую входили музыковеды и программисты, разработали программу c использованием технологии искусственного интеллекта, чтобы заполнить пробелы в имеющемся фрагментарном музыкальном материале и сделать его доступным для исполнения.
"Надо полагать, что Бетховен делал заметки в тот момент, когда у него появлялись новые идеи. Иногда он их записывал словами, а иногда нотами", - говорит Маттиас Рёдер, директор Института Караяна в Зальцбурге и руководитель международного проекта по реконструкции Десятой симфонии с применением искусственного интеллекта. Отталкиваясь от этого фрагментарного материала, машина и эксперты вместе думали, как бы Бетховен продолжил уже записанные им такты музыки.
Машина, которую научили сочинять как Бетховен, вложив в ее "интеллект" другие произведения композитора и музыку его современников, делала предложения. Эксперты рассматривали варианты возможного дальнейшего звучания фрагментов, выбирали наиболее оптимальный и закладывали его обратно в систему.
На концерте в Бонне 9 октября 2021 года была представлена лучшая реконструированная версия предполагаемой незавершенной симфонии
№ 10 ми-бемоль мажор в исполнении боннского городского Бетховенского оркестра под управлением дирижера Дирка Кафтана. Гости музыкального вечера встретили музыку продолжительными восторженными аплодисментами.
Эксперты проекта, между тем, подчеркивают, что они никоим образом не пытались посеять сомнения в уникальности музыкального гения Бетховена. Реконструкция Десятой симфонии с помощью технологии искусственного интеллекта была в первую очередь экспериментом, призванным показать возможности творческого сотрудничества человека и компьютера. Дирижер Д. Кафтан самолично погасил ожидания, заявив: "Если в двух словах, то это не Бетховен".
Тем не менее, эксперты и компьютеры создали произведение, которое вполне могло бы по своему звучанию родиться под пером самого великого композитора. "Да, компьютер использует алгоритмы. Но и человек тоже опирается на свой жизненный опыт и приобретенные знания и навыки. Машина и человек не так уж и далеки друг от друга", - отмечает американский музыковед Роберт Левин. Как показал этот эксперимент, они прекрасно дополняют друг друга. Потенциал технологии огромен, а "спектр ее возможностей экспоненциально расширяем".
Не осталась в стороне и популярная музыка.
В 2021 году для печально известного проекта "Утерянные записи Клуба 27" (Lost Tapes Of The 27 Club) нейросеть написала ряд песен в стиле Джими Хендрикса, Курта Кобейна, Эми Вайнхауc, Джима Моррисона и других звезд, покинувших мир в молодости. Феномен Клуба 27 стал одним из самых трагических и мистических совпадений в истории музыки и получил широкую известность после смерти легендарного основателя группы Nirvana Курта Кобейна в 1994 году.
Канадская психиатрическая организация Over The Bridge подготовила эту музыкальную подборку для своего проекта, привлекающего внимание общества к теме психического здоровья и употребления наркотиков, чтобы показать, как из-за кризиса умирают музыкальные исполнители. Таким образом Over The Bridge призывает людей из музыкальной индустрии вовремя получать необходимую психологическую поддержку, чтобы они могли продолжать создавать музыку еще долгие годы.
"Как все могло бы сложиться, если бы все эти любимые музыканты в свое время получили психологическую поддержку? Почему-то в музыкальной индустрии депрессия нормализуется и романтизируется", - говорит Шон О'Коннор, член совета директоров Over The Bridge.
Для создания песен использовалась программа Magenta, разработанная Google. Она проанализировала предыдущее творчество артистов — вокальные мелодии, смены аккордов, гитарные рифы, соло, и создала музыку с подобным звучанием. Текст песен также написал искусственный интеллект. Но вот вокал ему пока оказался не под силу, так что поют за покинувших этот свет легенд ныне здравствующие люди.
Для создания трека AI Nirvana "Drowned In The Sun" программа обработала порядка трех десятков песен группы. Трек исполнил Эрик Хоган - солист трибьют-группы Nevermind из Атланты. Он уверен, что эта песня имеет тип вибрации, свойственный последним записям коллектива Курта Кобейна.
"В песне поется: "Я чудак, но мне это нравится. Это настоящий Курт Кобейн", - добавляет Хоган.
AI Nirvana. Drowned In The Sun
Новости с Украины
Музыкальная рок-группа "The Streechers" из Чернигова в 2020 году выпустила первый в Украине видеоклип, который был создан исключительно искусственным интеллектом:
Paintress
Музыканты отмечают, что идея создания видеоклипа по такой технологии появилась у одного из участников группы – Игоря Мелихова. Он увлекается программированием, поэтому самостоятельно сумел настроить нейросеть так, чтобы она выводила созданные ею живые рисунки на экран во время звучания песни. Видеоработу на песню "Paintress" исполнители считают уникальной. Они отмечают, что ранее не встречали ни одного клипа, изначально созданного с помощью искусственного интеллекта.
"Мы искали и не нашли никакой работы, полностью сгенерированной нейронной сетью. Искусственный интеллект используют для обработки уже отснятых кадров, но не для создания с нуля. За пределами Украины несколько исполнителей использовали подобные алгоритмы, но я не нашел ни одного, который использовал бы текст песни для этого", – отметил Мелихов.
Лидер группы "Океан Эльзы" Святослав Вакарчук заявил, что песню "Без тебя меня нет" написал искусственный интеллект. "Программа послушала все песни ОЭ и написала свою... ну местами похоже вышло", – говорит Вакарчук. Клип на этот сингл вышел в феврале 2021 года.
Океан Эльзы. Без тебя меня нет
Искусственный интеллект и рекомендательные сервисы
Для эффективной деятельности и поиска талантов звукозаписывающим гигантам ежегодно приходится прослушивать и анализировать миллиарды композиций. По оценкам Международной федерации фонографической индустрии (IFPI), звукозаписывающие компании ежегодно инвестируют 4,5 млрд дол. в маркетинг, ориентированный на сферу A&R (Artists and Repertoire). Эта цифра составляет 26% от совокупного дохода отрасли. Для того чтобы сделать талантливого музыканта известным, лейблы вкладывают в него от 500 тыс. до 2 млн долларов. Вот почему технологии искусственного интеллекта столь важны для музыкальной индустрии.
При этом важно отметить, что с музыкальным контентом ИИ работать сложнее, чем с текстом, уже являющимся закодированной в символы информацией, или изображением, являющимся малым объемом данных. Звук же по-прежнему остается сложным для анализа алгоритмом материалом за счет многослойности, отсутствия четких временных интервалов и большого веса. Но процессы постоянно совершенствуются. И в начале 2000-х появились первые рекомендательные музыкальные сервисы.
Кроме того, в связи с увеличением пользователей потокового вещания потребность в технологии обработки этого потока данных продолжает оставаться актуальной. Интернет-платформа потокового аудио Spotify вложила большие средства в машинное обучение и такие фирменные продукты, как Discovery Weekly – плейлист, который формируется еженедельно с учетом пожеланий пользователя. В целом сервис Spotify делает ставку на то, чтобы стать еще более "умным" и более комфортным для пользователя.
Новые технологии способны значительно упростить жизнь начинающих музыкантов и режиссеров, программы искусственного интеллекта могут сэкономить их время и деньги, ускоряя процесс обнаружения новых звезд сцены. Например, британская компания Instrumental разработала собственную программу, которая обрабатывает новые видео- и аудиозаписи исполнителей-аматоров на нескольких социальных платформах (Spotify, YouTube, Instagram и т. п.) и определяет, кто из них имеет наибольший потенциал. Впоследствии компания предлагает некоторым из них контракты и поддерживает в дальнейшем развитии.
В массовом применении искусственный интеллект стал незаменимым, в первую очередь, в вопросах систематизации и персонализации всего огромного объема музыкальных произведений, хранящихся на стриминговых платформах и в интернет-проигрывателях. Например, в Apple Music доступно более 75 миллионов композиций, в Deezer можно найти 73 миллиона песен, а в Spotify хранится более 50 миллионов треков.
В частности, Apple Music ИИ, за счет алгоритмов нейронных сетей и процессоров, определяет качество музыкальной композиции, анализируя аудиофайлы продолжительностью от 15 секунд до 10 минут, и сравнивает их с песнями из ТОП-100, уже звучащими в эфире радиостанций.
Таким образом, искусственный интеллект на сегодняшний день можно использовать для прогнозирования соответствия музыки вкусу целевой аудитории, что позволяет каждой композиции найти своего слушателя.
Искусственный интеллект выходит на сцену
Шоу-бизнес начал эксплуатировать технологию искусственного интеллекта и цифрового Альтер-эго звезд не только для создания и анализа аудио, но и для создания невиданного доселе "видеоряда". Технологии дополненной и виртуальной реальности нашли свое применение уже в конце 2010-х. Например, в рамках первого фестиваля VR (с англ. "виртуальная реальность") в 2018 году на платформе High Fidelity состоялось выступление аватара диджея Томаса Долби. Год спустя американская скрипачка Линдси Стирлинг превратила зрителей – обладателей VR-шлемов – в светлячков, а сама сыграла для них концерт в сказочном лесу. Еще несколько успешных VR-концертов прошли на базе культовой игры Fortnite. Одним из первых музыкантов, представивших публике свой аватар, стал диджей Marshmello. Его примеру последовали Travis Scott и Ariana Grande.
Но одна из самых громких новостей, связанная с 3D-реальностью и музыкальной индустрией, прозвучала совсем недавно. И, конечно же, это воссоединение легендарного шведского квартета ABBA и анонсированный ими концерт, который состоялся в Лондоне в 2022 году. Всем вокалистам коллектива сегодня перевалило за седьмой десяток, но голоса их, как прежде, звонкие и притягательные. Группа записывает новые песни, но на сцену перед многотысячной аудиторией вышли не сами артисты, а их голограммы (аватары) – такие, какими были члены культовой четверки в 70-е годы.
То, что технологии AR сегодня – один из главных трендов во всей медиа и ивент-индустрии, подтверждает и недавняя презентация ребрендинга популярной социальной платформы Facebook. Провел ее аватар Марка Цукерберга, почти ничем не отличимый от реального человека: чем не свидетельство того, что будущее настало?!
Искусственный интеллект озвучивает видео
До недавнего времени интерес исследователей в области нейронных сетей к звуковым эффектам ограничивался только системами распознавания речи. В 2021 году американские исследователи из Университета Карнеги-Меллон (штат Пенсильвания, США) и компании Runway обучили нейросеть самостоятельно подбирать звуковое сопровождение к немому видео: в зависимости от картинки в кадре алгоритм самостоятельно подыскивает необходимые звуки.
Разработка получила название Soundify. Ее работа разделена на три этапа: сначала алгоритм обнаруживает источники звука и классифицирует их — это могут быть конкретные объекты или места с характерным фоновым звуком (дорога, кафе и так далее). Затем алгоритм использует базу данных Epidemic Sound, в которой содержатся около 90 тыс. звуков, для поиска необходимого звучания. Для каждой сцены Soundify подбирает по пять самых вероятных звуковых эффектов: один из них устанавливается по умолчанию, однако пользователь может включить дополнительные. На втором этапе алгоритм устанавливает временные интервалы звучания каждого эффекта в зависимости от того, на протяжении какого времени объект находится в кадре. На последней стадии нейросеть разбивает каждую сцену по секундам и подбирает необходимые параметры громкости для обеспечения реалистичности звучания.
Предполагается, что Soundify облегчит кропотливую и затратную по времени работу монтажеров с видео без звука — в первую очередь, это относится к съемкам с дронов, поскольку последние, как правило, лишены микрофона.
Пример видео, озвученного нейросетью
Сможет ли искусственный интеллект научить музыке?
ИИ-учитель музыки – цель нового стартапа из Сан-Франциско (США) под названием Kena·ai. Компания разрабатывает "личного учителя музыки на базе искусственного интеллекта", способного "давать обратную связь в режиме реального времени на практических занятиях, создавать динамические персонализированные схемы обучения, обеспечивать поиск на основе композиционной архитектуры музыки" и "генерировать музыкальные композиции с помощью ИИ". Так говорит сообщение в блоге генерального директора Вишваната.
На своем веб-сайте компания предполагает, что ИИ будет "похож на сочетание учителя-человека/Siri/Google/Spotify", а ученики будут задавать вопросы вроде "Эй, Кена, чем мне заняться сегодня?" и "Эй, Кена, научи меня музыкальному произведению из арпеджио-свипа в ми миноре". Также утверждается, что Кена будет работать с любым музыкальным инструментом без необходимости использовать шаблоны или применять живое курирование для каждого музыкального произведения. Стартап появился в 2019 году, и интересно будет посмотреть, отвечает ли его технология провозглашенным амбициям.
Ученые создали искусственный интеллект для автоматической классификации движений смычка скрипки по жестам исполнителя.
При воспроизведении музыки жесты чрезвычайно важны, отчасти потому, что они напрямую связаны со звуком и выразительностью музыкантов. Сегодня существует технология, которая фиксирует движение и способна очень точно определять даже мелкие жесты. В исследовании сотрудники Лаборатории машинного обучения и музыки Группы музыкальных технологий Департамента информационных и коммуникационных технологий испанского Университета Помпеу Фабра использовали искусственный интеллект для автоматической классификации движений смычка скрипки по движениям исполнителя.
"Мы записали движение и аудиоданные, соответствующие семи репрезентативным техникам ведения смычка (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato и Bariolage) в исполнении профессионального скрипача. Мы получили информацию об инерционном движении правого предплечья и синхронизировали его с аудиозаписью", - объясняют авторы исследования Дэвид Далмаццо и Рафаэль Рамирес. Система идентифицировала движения скрипача с точностью до 94%.
Данные, использованные в этом исследовании, общедоступны в онлайн-хранилище. Полученные результаты позволяют применять этот метод в практическом обучении, когда учащиеся игре на скрипке могут извлечь пользу из обратной связи, предоставленной системой в режиме реального времени.
Это исследование было проведено в рамках проекта TELMI (Технология повышения эффективности обучения музыкальным инструментам). Его цель состоит в том, чтобы исследовать, как технологии (датчики, мультимодальные данные, искусственный интеллект и компьютерные системы) могут улучшить практику изучения музыки, помогая в овладении новыми музыкальными навыками.
С использованием скрипки в качестве примера одной из основных целей проекта является предоставление учащимся обратной связи в реальном времени, а также сравнение их выступлений с результатами ведущих экспертов. "Наши результаты уже обобщены для других музыкальных инструментов и применяются в музыкальной образовательной среде", - добавляет Рафаэль Рамирес.
Заключение
Если это искусство, то не для всех, а если это для всех, то это не искусство.
А. Шенберг
Осталось ли еще что-то, неподвластное машинам? И сможет ли компьютер в будущем заменить живых музыкантов?
Согласно отчету международной консалтинговой компании McKinsey, 70% фирм, независимо от направления их деятельности, будут использовать хотя бы одну интеллектуальную технологию до 2030 года. В том же отчете утверждается, что искусственный интеллект обеспечит США рост экономической активности, которая к 2030 году приведет к приросту национальной прибыли в размере 13 трлн долларов (этот показатель эквивалентен росту ВВП страны на 16%). В музыкальном бизнесе потенциал ИИ огромен. Уже сегодня применение интеллектуальных технологий художниками, звукорежиссерами, специалистами цифрового маркетинга известных мировых лейблов – это скорее необходимость, чем инновация. Потребитель музыки привыкает к качественному звуку, поэтому использование современных методов обработки неизбежно.
Несмотря на то что человечество проводит эксперименты в плане написания музыки с помощью ИИ вот уже более полувека, считается, что эта технология еще находится на ранней стадии развития. Компьютеры действительно научились самостоятельно создавать новые ценности, представляющие интерес для человека. То есть можно утверждать, что они освоили творческий процесс. С одной стороны, он во многом далек от возможностей одаренных людей и часто напоминает незатейливый креатив ребенка, но с другой — у машин еще долгая дорога впереди. Уже сейчас ИИ помогает музыкантам тестировать новые идеи, находить оптимальный эмоциональный контекст, интегрировать музыку в современные медиа и просто развлекаться. Наиболее вероятное будущее для музыкальных нейросетей – генерировать фоновую музыку там, где сама музыка не так важна: лаунж-зоны, рестораны, спортзалы, фон для работы, учебы, медитаций, спорта и практик. Еще один вариант применения, очень интересный в коммерческом плане – помощь музыкантам и немузыкантам в поиске идей. Например, если у нейросети будут какие-то ручки управления, человекопонятный интерфейс, с помощью которого даже абсолютно не разбирающийся в нотной грамоте и композиторстве клиент сможет сгенерировать продукт и накрутить нужный темп, стиль и переходы, то получится нечто вроде "конструктора музыки". Таким образом написание музыки станет занятием, доступным более широкой аудитории, – так открываются двери к самовыражению для миллиардов людей. Или, как сказал бы в таком случае А. Эйнштейн: "Секрет креативности в умении прятать свои источники"...
Все это, конечно, удивительно, однако же имеющиеся технологии далеки от того, чтобы искусственный интеллект обладал способностью создавать что-то принципиально новое: машина может пропустить через себя огромный объем данных и "понять" как можно сделать и как уже было сделано, но она не может загореться внезапным приступом вдохновения и воплотить свою творческую задумку. ИИ хорошо себя показывает как генератор идей, коротких музыкальных фраз и даже мелодий. Но музыка, сочиненная компьютером, все еще нуждается в том, чтобы человек приложил к ней руку в отношении теории, музыкального производства и оркестровки. Иначе же такой "опус" может звучать довольно непривычно и сумбурно для человеческого уха. То есть без работы композитора и музыкантов не обойтись - они берут сгенерированные ИИ кирпичики и строят из них произведение, по пути добавляя свое собственное творчество.
Музыку, созданную ИИ, можно назвать "фастфудным решением" для тех, кому срочно нужна дешевая музыкальная композиция. Мы отдаем себе отчет в том, что только образованные люди могут создать произведение искусства, которое будет нести в себе какую-то глубокую мысль. Вряд ли искусственный интеллект сможет когда-нибудь написать саундтрек к фильму, вызывающий мурашки. Машина на такое неспособна. Музыка, которая генерируется без участия человека, получается безэмоциональной и не может работать в качестве триггера настроения. Эмоциональную окраску этим произведениям способен дать только живой исполнитель. Каждый из нас может быть каким угодно чудаком или сумасбродом, но мы никогда не вставим в уши то, что нам не нравится. Суть музыки в том, что она является самой глубокой и сокровенной гранью человека - только тогда она сможет выполнить главную задачу: создавать настроение и переживания.
Способность мыслить творчески, фантазировать, отступать от шаблонов и вызывать эмоции – вот главные умения, отличающие реального музыканта от искусственного. Машина, каких бы уровней развития она не достигла, просто не сможет понять такие тонкие вещи, как человеческий разум, душа и отношения между людьми, которые, как правило, и вдохновляют нас на творчество. Мы знаем, что в центре искусства обязательно должны быть чувства, идеи и порывы — а все это, к сожалению или счастью, нельзя воплотить в алгоритмах. По крайней мере, пока. Именно поэтому одно из самых последних направлений в сфере алгоритмической композиции – это моделирование эмоциональной нагрузки произведений для устранения проблемы сухого математического расчета и привнесения в машинную музыку элементов настроений и смысла, вкладываемых человеком в сочиняемые композиции.
В целом, эксперты согласны, что ИИ никогда не сможет заменить творческую личность на поприще полноценного сочинительства, но, как упоминалось выше, сможет значительно изменить и дополнить весь процесс.
Музыка была спутником человечества на протяжении десятков тысяч лет, и оценить ее силу может только человек. Пол Маккартни, вспоминая то, как дружеские отношения с Джоном Ленноном содействовали их взаимопониманию при написании новых песен, говорил, что никакие технологии не смогут повторить успех произведений, созданных под влиянием искренних человеческих эмоций...
Сможет ли полностью компьютер вытеснить музыкантов из музыкального процесса - вопрос скорее философский. Нам же остается только ждать и наблюдать, как сложится путь эволюции музыки в будущем...
А напоследок вспомним знаменитое высказывание великого грека Аристотеля, которое сегодня звучит как никогда актуально:
"ИСКУССТВО ЕСТЬ НЕ ЧТО ИНОЕ, КАК ТВОРЧЕСКАЯ СПОСОБНОСТЬ, РУКОВОДИМАЯ ПОДЛИННЫМ РАЗУМОМ".
P. S. Весной 2024 года более 200 артистов подписали открытое письмо, в котором призвали прекратить "хищническое" использование искусственного интеллекта в музыкальной индустрии. В этом письме, организованном кампанией Artist Rights Alliance, музыканты заявили, что ИИ "нарушит наши права и обесценит права артистов", если его использовать безответственно. Они призывают технологические компании взять на себя обязательство не разрабатывать инструменты для создания музыки с ИИ, "подрывающие авторитет или заменяющие авторов песен и исполнителей, или отказывающие нам в справедливой компенсации за нашу работу". Также в письме говорится, что то, как творчество артистов используется для обучения некоторым моделям и системам искусственного интеллекта, является "наступлением на человеческое творчество", а также предупредили, что ИИ используется для "разрушения музыкальной экосистемы".
Письмо подписали:
певицы Билли Айлиш, Ники Минаж, Кэти Перри, Камила Кабельо;
певцы Джон Бон Джови, Сэм Смит, Джон Батист, Зейн Малик;
группы Jonas Brothers и Imagine Dragons;
наследники Фрэнка Синатры и Боба Марли.
Но не все музыканты выступают против использования ИИ в музыкальной индустрии, в частности Граймс и диджей Дэвид Гетта являются одними из тех, кто поддерживает использование таких инструментов ИИ. Граймс даже призвала поклонников и начинающих музыкантов использовать ее голос "без штрафных санкций" и заявила, что будет делиться роялти за успешные треки, сгенерированные с помощью ИИ.
________________________
При подготовке статьи использованы следующие работы:
1. Будущее музыки за искусственным интеллектом [Электронный ресурс] //KnowHow. - 2018. – 18 декабря. – Режим доступа: https://knowhow.pp.ua/ai_music/
2. В. Елкина. Искусственный интеллект научился сочинять музыку, совсем как человек [Электронный ресурс] //RB.RU. - 2017. – 22 февраля. – Режим доступа: https://rb.ru/story/ai-composer/
З. З. Кунаковская. Искусственная музыка: зачем нам The Beatles, если есть ИИ [Электронный ресурс] //RB.RU. - 2019. – 06 августа. – Режим доступа: https://rb.ru/longread/ai-in-music/
4. Искусственный интеллект в музыкальной индустрии: аватары артистов и робот в жюри музыкального конкурса [Электронный ресурс] //vc.ru. - 2021. – 16 ноября. – Режим доступа: https://vc.ru/russianmediagroup/319952-iskusstvennyy-intellekt-v-muzykalnoy-industrii-avatary-artistov-i-robot-v-zhyuri-muzykalnogo-konkursa
5. Искусственный интеллект запишет движения скрипача [Электронный ресурс]
//Научная Россия. - 2019. – 03 апреля. – Режим доступа: https://scientificrussia.ru/articles/iskusstvennyj-intellekt-zapishet-dvizheniya-skripacha
6. Искусственный интеллект поёт о революции [Электронный ресурс] //Habr. - 2020. – 03 июня. – Режим доступа: https://habr.com/ru/company/cloud4y/blog/505000/
7. Краткая история алгоритмической композиции [Электронный ресурс] //AlgorithmicComposition. – Режим доступа: https://algorithmiccomposition.ru/blog.html
8. К. Янушкевич. В США нейросеть обучили подбирать звуки для беззвучного видео [Электронный ресурс] //РБК. – 2021. – 14 декабря. - Режим доступа: https://trends.rbc.ru/trends/industry/61b733a09a7947402ef0e71c
9. Masha Gurova. И джаз, и электроника: проекты, которые используют искусственный интеллект для создания музыки [Электронный ресурс] //vc.ru. - 2019. – 06 апреля. – Режим доступа: https://vc.ru/future/63431-i-dzhaz-i-elektronika-proekty-kotorye-ispolzuyut-iskusstvennyy-intellekt-dlya-sozdaniya-muzyki
10. Н. Бессонова. Нейросеть научилась писать хоралы за Баха [Электронный ресурс] //N + 1. - 2016. – 16 декабря. - Режим доступа: https://nplus1.ru/news/2016/12/16/deeplearningbachstyle
11. Н. Кострова. Что такое алгоритмическое искусство: от Моцарта и Райха до "Нейронной обороны" [Электронный ресурс] //Афиша Daily. - 2017. – 22 февраля. Режим доступа: https://daily.afisha.ru/brain/4653-chto-takoe-algoritmicheskoe-iskusstvo-ot-mocarta-i-rayha-do-neyronnoy-oborony/
12. О. Перепелкина. Нейронная соната: как искусственный интеллект генерирует музыку [Электронный ресурс] //РБК. - 2021. - 23 июля. - Режим доступа: https://trends.rbc.ru/trends/industry/5f84b49e9a794729fefb4c88
13. С. Ольце, Э. Володина. Искусственный интеллект сочиняет музыку Бетховена [Электронный ресурс] //DW AKADEMIE. - 2021. – 11 октября. – Режим доступа: https://www.dw.com/ru/iskusstvennyj-intellekt-dopisal-simfinoju-za-bethovena/a-59469957
14. Ф. Болл. Музыкальный инстинкт. Почему мы любим музыку. – М.: Эксмо, 2021. – 720 с.
Красивая музыка для релакса. Заходите на канал, ставьте лайки, подписывайтесь, чтобы не пропустить новые видео!
https://www.youtube.com/channel/UCnQAD1p44Q3G0tHF5g8XvLw
Круто!😍