Как нейросеть сочиняет музыку
Редакция Школьного Университета «Синергия»
Редакция онлайн-школы для 5–11 классов
Как модель представляет звук
Звуковая запись содержит гораздо больше значений, чем короткий текст из слов. Один из способов облегчить работу модели — сжать аудио и представить его несколькими последовательностями условных элементов, или токенов. Они описывают детали записи так, чтобы затем восстановить звук. Токен может обозначать часть сжатого сигнала и необязательно совпадает с нотой или ударом. Модель MusicGen учится предсказывать элементы такой последовательности и связывать генерацию с описанием. Другие системы могут работать иначе, поэтому описание этого метода относится к конкретному примеру. Исследование авторов MusicGen.
Что происходит после запроса
Если попросить «спокойную инструментальную мелодию с редкими ударами барабана», модель использует описание как условие для генерации. Полученная последовательность преобразуется обратно в аудио. В записи могут появиться подходящие темп и инструменты, но точное исполнение каждой детали не гарантируется. Два запуска с похожим текстом могут звучать по-разному. Попробуйте сравнить результаты по двум заранее выбранным признакам, например слышен ли барабан и одинаково ли плотное звучание в начале и конце. Официальное описание AudioCraft.
Как проверить связь запроса и результата
Составьте два описания, где меняется только один параметр: «медленная мелодия на фортепиано» и «быстрая мелодия на фортепиано». Прослушайте несколько результатов и отметьте, сохранился ли выбранный инструмент и как изменился темп. Если признаки меняются одновременно, проверьте дополнительные примеры. Для школьного проекта опишите, какой фрагмент сгенерирован, что вы выбрали сами и как отредактировали результат. Условия публикации зависят от инструмента, поэтому перед размещением записи проверьте правила конкретной модели.
читайте также
предметная библиотека
Режим дня школьника с первой и второй сменой
Два примера расписания, способ расставить кружки и проверка, помещается ли домашняя работа в обычный день.
предметная библиотека
Как вернуться к учёбе после каникул за пять дней
План на первые учебные дни и способ различить усталость, забытые темы и проблемы с расписанием.
предметная библиотека
Как подготовиться к контрольной по математике и русскому
Два плана тренировки, примеры самопроверки и способ понять, какие ошибки разбирать в первую очередь.