Искусственный интеллект в написании музыки

Ушедший на днях 2023 год был бумом нейросетей и искусственного интеллекта! Эти термины был на слуху у всех: дизайнеров, копирайтеров, программистов, а также музыкантов и композиторов. Музыка — целая вселенная, сложнее текстов и картинок. В ней множество разных стилей и направлений: блюз, джаз, кантри, рок и т.д. Тем не менее уже сейчас мы видим, что ИИ научился генерировать музыкальные композиции. В интернете представлены разные существуют нейросети, которые сочиняют мелодии. Есть как платные, так и с открытым исходным кодом.

КАК ЭТО РАБОТАЕТ?

Нейросеть обучается на немыслимо большом количестве разных аудиофайлов. Разработчики собирают композиции в общую базу и передают ИИ. Как правило, первые сгенерированные мелодии звучат неестественно для слуха людей, также как и первые картинки порой выглядели не просто странно, но крипово и даже пугающе... Но чем дольше программа обучается, тем больше музыка становится приятной для человеческого слуха.

Конечно, всё зависит от шаблонов, которые ИИ предоставили. Если обучить программу на произведениях группы Битлз, то и генерировать она сможет только подобную музыку.

ГЕНЕРАЦИЯ НОТ

Искусственный интеллект создаёт композицию в виде партитуры : расстановки звуков, нот и аккордов по порядку. Программа генерирует информацию через символы, по которым произведение можно прослушать.

Такой подход OpenAI применила в MuseNet. Программу обучали на произведениях разных жанров: от классики до металла. Поэтому нейросеть сочиняет композиции и сочетать разные стили. Может исполнить, например Лебединое Озеро в стиле Marilyn Manson :)

Этот подход, увы не идеален :( Программа создает только ноты, но не может выразить разную тональность, применить средства выразительности или распознать тонкости звука.

ГЕНЕРАЦИЯ АУДИОСИГНАЛА

Этот способ без ограничений. Программы могут создавать любой звук - вокал, музыкальные эффекты и переходы, а не только партитуру. Такие алгоритмы требуют огромных вычислительных мощностей!

Разработчики не стремились делать ИИ, который напишет композицию с нуля. Музыка состоит из десятка миллионов последовательных значений. Поэтому они использовали алгоритмы машинного обучения, чтобы проанализировать и интерпретировать существующие песни.

С таким подходом нейросети учатся понимать структуру песен и сочинять собственные композиции на основе изученных данных.

АЛГОРИТМЫ ГЕНЕРАЦИИ

В основе алгоритмов существуют в основном 2 метода: автокодировщик и генеративно-состязательные нейросети.

ИИ-автокодировщик сжимает входные данные, выбирает важную информацию и отбрасывает второстепенную. Затем воссоздает исходные данные, тем самым генерируея новые мелодии.

Генеративно-состязательные нейросети создают композиции на основе мелодий, которые загрузили в базу и пытаются распознать исходные примеры от сгенерированных.

В методе задействованы две модели — генеративная и дискриминативная. Первая создает музыкальное произведение, а вторая сравнивает сгенерированный звук с оригиналом. Так, две модели взаимно обучают друг друга, чтобы генеративная модель могла создавать треки, приятные для человеческого слуха.

Все алгоритмы еще тестируются. Их нужно дальше исследовать и дорабатывать, чтобы достигнуть всё более лучших результатов.

Сервисы, которые можно попробовать:

Avia.AI. Нейросеть генерирует мелодию по тональности, жанрам или по загруженным песням. Можно усилить бас, увеличить или уменьшить скорость воспроизведения, поменять инструменты или добавить новые. Но для этого придется скачать программу на ПК и желательно подтянуть английский — русского языка нет. На бесплатном тарифе скачаете только три трека в месяц. В платной версии программы сгенерируете до 200 треков, которые можно использовать в играх, фильмах или на Ютуб-канале.

Riffusion. Создает музыку по сонограмме. Работает она так: вы пишите текст песни и указываете разные жанры: от хип-хопа и кей-попа до регги и диско. Программа переводит данные в спектрограмму, а уже по ней генерируется песня. Трек можно скачать на компьютер, поделиться в социальных сетях и использовать для видео в «Тик Ток» (сеть приостановила деятельность в РФ из-за закона о «фейках»). ИИ понимает только английский язык, а длина песни всего 12 секунд. Поэтому сгенерировать полноценный трек не получится, зато можно сочинить кучу всего интересного.

Magenta. Проект от компании Google, в котором есть набор разных мини-игр. Например, DrumBot генерирует звуки на барабанах, которые пользователь записал с помощью клавиатуры, а MidiMe сочиняет похожую мелодию из загруженного трека. Есть и интересные игры: в Runn уровни создаются из играющей музыки, в Sornting нужно слушать аудио и определять правильный порядок звуков, а в Piano Genie можно поиграть на пианино с клавиатуры. На практике такой сервис невозможно применить, он лишь демонстрируют возможности искусственного интеллекта.

Mubert. Сервис умеет генерировать музыку по загруженной картинке, описанному настроению, жанру или виду деятельности. Может написать фоновую мелодию для короткого видеоролика на YouTube. Сервисом можно пользоваться после регистрации и создавать до 25 треков в месяц. Если добавить ссылку на канал, где мелодии будут использоваться, то аудио можно будет скачать на компьютер.

Soundraw. Простая программа, которая генерирует треки. Достаточно выбрать жанр, тематику и инструменты. Есть встроенный редактор, в котором можно изменить темп, ритм и тональность мелодии.
Сервис работает только по заготовленным промтам, поэтому написать свой текст или загрузить картинку нельзя. Создавать и слушать музыку можно бесплатно, но скачивать только за деньги.

JukeBox. Разработчики OpenAI создали ИИ, который сочиняет музыку, текст и генерирует целые песни. Для его работы нужно скачать на ПК пакет Conda, указать папку с загруженными песнями и составить промт.

Mousai. Программа с открытым исходным кодом, которая генерирует звуки студийного качества по текстовому описанию. Программы объединяет общий недостаток. Нужна большая вычислительная мощность компьютера, чтобы работать с ИИ-моделями.

ДЛЯ ПРОДВИНУТЫХ

для тех кто разбирается в программировании:

JukeBox. Разработчики OpenAI создали ИИ, который сочиняет музыку, текст и генерирует целые песни. Для его работы нужно скачать на ПК пакет Conda, указать папку с загруженными песнями и составить промт.

Mousai. Программа с открытым исходным кодом, которая генерирует звуки студийного качества по текстовому описанию. Программы объединяет общий недостаток. Нужна большая вычислительная мощность компьютера, чтобы работать с ИИ-моделями.

ЗАКЛЮЧЕНИЕ

Генерировать музыку - очень сложный процесс, но мы сегодня мы видим, как искусственный интеллект совершил скачок в этом направлении. На данный момент в качестве помощника для музыкантов и композиторов. Вероятно, в будущем технологии разовьются настолько, что ИИ сам будет создавать новые полноценные мелодии.

И ЕЩЁ

Музыка сама по себе изначально - это и есть алгоритм : множественная классификация сигналов. Данный алгоритм многопрофильной классификации, был предложен Шмидтом и другими в 1979 году. Музыкальный алгоритм - это алгоритм разложения подразделения. Он использует ортогональность подспространства сигналов и шумового пространства для создания функции пространственного спектра и ищет через пики спектра для оценки параметров сигнала. Да, это сложно для понимания :)

Но Современная музыка - это чаще всего набор циклично повторяющихся треков с особой закономерностью.

Поэтому, генераторы музыки существовали и 10 и 20 лет назад. А в настоящее время просто термины ИСКУСТВЕННЫЙ ИНТЕЛЛЕКТ и НЕЙРОСЕТИ стали трендовыми и поэтому их зачастую приписывают ко всему что даже не имеет к этому отношения.

ai music software