ИИ-технология Google MusicLM обучалась на наборе данных из 280 000 часов музыки и может создавать особо сложные композиции (например, для таких текстовых запросов, как «волшебная джазовая песня с незабываемым соло на саксофоне и сольный певец» или «берлинское техно 90-х с низким басом и сильными ударными»).
Своим глубоким обучением MusicLM, собственно, и отличается от других систем ИИ для генерирования песен – Riffusion, Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI несколько ограничены техническими возможностями и меньшим количеством использованных данных.
Музыкальные продукты MusicLM, на удивление, звучат очень подобно тем, что мог бы создать человек-композитор. К примеру, в этом фрагменте инструмент реализовал запрос «Вызывает чувство затерянности в пространстве»:
https://itc.ua/wp-content/uploads/2023/05/audio-1.wav
А здесь – «Основной саундтрек аркадной игры»:
https://itc.ua/wp-content/uploads/2023/05/audio-1-2.wav
Исследователи Google говорят, что MusicLM может взять несколько запросов, написанных последовательно (например, время медитировать, время просыпаться, время бегать, время выложиться на 100%) и создать своего рода мелодическую историю продолжительностью до нескольких минут – идеально подходит для саундтрека к фильму.
Ниже результат MusicLM для запросов: «электронная песня, играющая в видеоигре; песня для медитации, которую играют у реки; огонь; фейерверк».
https://itc.ua/wp-content/uploads/2023/05/example_2.wav
MusicLM также можно управлять с помощью комбинации изображения и текста или генерировать аудио, которое воспроизводится определенным типом инструмента в определенном жанре. Можно выбрать даже уровень опыта «музыканта», также система способна создавать музыку, вдохновленную местами, эпохами или требованиями (например, мотивационная музыка для тренировок).
Запишіть менеКурс QAНавчимо тебе новій професії лише за 4-5 місяців з вільним графіком
Но MusicLM небезупречна — некоторые образцы обладают искаженным качеством, что является неизбежным побочным эффектом процесса обучения. И хотя технически MusicLM может генерировать человеческий вокал, он звучит не слишком убедительно.
В то же время, Google не спешит выпускать инструмент, учитывая этические проблемы, с которыми он может столкнуться. MusicLM, как и другие системы, использовала в обучении защищенный авторским правом материал, а в ходе эксперимента оказалось, что около 1% результатов были непосредственно воспроизведены из песен, на которых тренировалась система.
Если предположить, что MusicLM или подобная система однажды станет доступной, юридических проблем не миновать — даже если технология позиционируется как инструмент, помогающий артистам, а не заменяющий их.