Синергия Онлайн-школа
предметная библиотека2 мин чтения

Как нейросеть сочиняет музыку

Редакция Школьного Университета «Синергия»

Редакция онлайн-школы для 5–11 классов

Как модель представляет звук

Звуковая запись содержит гораздо больше значений, чем короткий текст из слов. Один из способов облегчить работу модели — сжать аудио и представить его несколькими последовательностями условных элементов, или токенов. Они описывают детали записи так, чтобы затем восстановить звук. Токен может обозначать часть сжатого сигнала и необязательно совпадает с нотой или ударом. Модель MusicGen учится предсказывать элементы такой последовательности и связывать генерацию с описанием. Другие системы могут работать иначе, поэтому описание этого метода относится к конкретному примеру. Исследование авторов MusicGen.

Что происходит после запроса

Если попросить «спокойную инструментальную мелодию с редкими ударами барабана», модель использует описание как условие для генерации. Полученная последовательность преобразуется обратно в аудио. В записи могут появиться подходящие темп и инструменты, но точное исполнение каждой детали не гарантируется. Два запуска с похожим текстом могут звучать по-разному. Попробуйте сравнить результаты по двум заранее выбранным признакам, например слышен ли барабан и одинаково ли плотное звучание в начале и конце. Официальное описание AudioCraft.

Как проверить связь запроса и результата

Составьте два описания, где меняется только один параметр: «медленная мелодия на фортепиано» и «быстрая мелодия на фортепиано». Прослушайте несколько результатов и отметьте, сохранился ли выбранный инструмент и как изменился темп. Если признаки меняются одновременно, проверьте дополнительные примеры. Для школьного проекта опишите, какой фрагмент сгенерирован, что вы выбрали сами и как отредактировали результат. Условия публикации зависят от инструмента, поэтому перед размещением записи проверьте правила конкретной модели.

читайте также

предметная библиотека

Режим дня школьника с первой и второй сменой

Два примера расписания, способ расставить кружки и проверка, помещается ли домашняя работа в обычный день.

предметная библиотека

Как вернуться к учёбе после каникул за пять дней

План на первые учебные дни и способ различить усталость, забытые темы и проблемы с расписанием.

предметная библиотека

Как подготовиться к контрольной по математике и русскому

Два плана тренировки, примеры самопроверки и способ понять, какие ошибки разбирать в первую очередь.

← все материалы блога