Сергей Косенко
на MIDI-велосипеде
Интерактивая музыка – один из разделов компьютерной алгоритмической музыки.
В начале 1990-х термин обрел устойчивое значение и предполагает непременное присутствие компьютера как посредника.
Интерактивность осуществляется посредством соответствующего компьютерного алгоритма, анализирующего и интерпретирующего действия исполнителя.
Интерактивность – это просто принцип работы системы, не более.
Как этот принцип будет использовать композитор – его личное дело.
Один композитор пишет совершенно традиционную партию флейты, предполагающую точное исполнение всех нот и никакой импровизации, создает программу, следящую за исполнением партии флейты и синхронизующей электронную партию с живой игрой.
В данной ситуации исполнитель достаточно свободен, по крайней мере, не привязан к «метроному» или фонограмме, но права на ошибку не имеет: программа может перепутать, в каком месте партитуры находится солист. Свобода интерпретации весьма относительна, но слушатель понимает взаимосвязь и, вероятно, ощущает уникальность события.
Другой композитор создает алгоритмическую композицию, в которой система генерирует некоторые развивающиеся звуковые процессы, на развитие которых исполнитель может влиять теми или иными способами (с помощью традиционной клавиатуры, всевозможных сенсоров, просто клавиатуры компьютера и т.п.). Возможности воздействия на поток событий могут быть достаточно серьезными и музыкально оправданными, но часто характер взаимодействия остается совершенно непонятен слушателям. Часто в подобных случаях возникает сомнение, а не лучше ли было использовать старую добрую фонограмму.
В ситуации живого концертного исполнения, когда отсутствует сама возможность редактирования, и главный акцент приходится на управление развивающимся музыкальным процессом, используется интерактивное взаимодействие в реальном масштабе времени, то есть мы получаем доступ к различным слоям композиционной структуры и самого процесса композиции непосредственно в процессе его развертывания во времени.
Интерпретация может быть столь же проста как прямое преобразование в инструкции для инструмента, например, команды определяющие выбор нот, тембров или огибающих процессов.
Может использоваться и более сложная цепь модулей для вычисления или преобразования данных исполнительского жеста, пошагово проигрывающих или модулирующих предварительно записанную партитуру, переключающих и перестраивающих различные процессы и алгоритмы. При этом возможно управление как на уровне фраз, отдельных партий и процедур, так и на уровне всей композиционной стратегии.
Часто по отношению к живому исполнению интерактивной музыки применяют термин «перформанс», расширяющий понятие исполнительской практики, включающий в него как фактическое музыкальное, так и внемузыкальное поведение и взаимодействие участников, элементы импровизации.
Макс Мэтьюс
и RadioBaton
В концертной практике использования интерактивных систем границы между композицией и перформансом часто оказываются размытыми. Хотя некоторые элементы в цепи обработки данных или реакции на исполнительские жесты могут быть предварительно записаны, фактический результат сильно зависит от исполнителя, в то время как в полностью фиксированной композиции ноты, динамику и длительность музыкальных событий обычно не оставляют на откуп случайности. В этом отношении, интерактивные композиции порой можно классифицировать как нечто алеаторическое.
Являясь своего рода альтернативой классической акусматике, музыке “для пленки”, интерактивная музыка, фактически, пытается возродить практику живого концертного исполнения в контексте “лабораторной” электроакустической музыки, вернуть исполнителя на сцену, дав ему новые средства интуитивного контроля над музыкальным материалом через пластику тела, движение, голос, взгляд, тактильные ощущения и т.п. что, в свою очередь, требует создания новых музыкальных инструметов, порой совершенно немыслимых в рамках традиционной инструментальной музыки.
Работа в рамках курса по имплементации звука в Unity
Закончив курс, я стал копать глубже, усилив значение музыки в сцене и попытался сделать динамически меняющийся в зависимости от обстоятельств музыкальный трек.
Пройдясь по локации первый раз я задался вопросом почему она пустая и почувствовал страх и дискомфорт. Эти эмоции мне продиктовали выбор жанра триллер для этой сцены и музыки к ней. ( Впоследствии чтобы усилить эти страшные эмоции я также изменил сцену, добавил туман.)
На этапе концепта я оттолкнулся от жанра и славянско-скандинавской языческой тематики локации. Я решил писать страшную темную музыку с обилием нетемперированных и сонорных звуков у струнных. Также я добавил всему этому жуткий тембр басового фагота и шёпот женского хора, похожий на обряд ведьм. Скрепляет всю фактуру сухой ритм – сначала большого барабана, потом деревянного блока.
Музыкальный трек представляет из себя три части/состояния, поступенно сменяющие друг друга в геймплее:
😬 напряженное исследование.
😳 как будто о твоем присутствии кто-то знает. ↕↕
😱 как будто кто-то тебя видит и у тебя большие проблемы.
Одной из задач было сделать переходы наиболее плавными как понарастающе, так и обратно. Основной сложностью было то, что важным средством музыкальной выразительности и разграничения разделов здесь является темп. Я пытался достичь результата без слышимых склеек — так как бы это делали живые исполнители в реальном времени. Благодаря инструментарию FMOD мне это удалось.
Так как я не могу точно знать сколько раз игрок встретит опасность и как долго будет исследовать локацию другой задачей было сделать музыку не надоедающей. В решение этой задачи опять помог FMOD, позволяющий выбирать каждый раз разную дорожку из доступных. Мной было написано четыре музыкальных фрагмента для четырех инструментов струнной группы для каждой из трех частей. При смене фрагмента внутри одной части инструмент меняет свою роль, характер игры и способ звукоизвлечения. Благодаря этому удалось сделать звучание струнных каждый раз разным, но в одной краске и настроении.
Пример вариантов партий струнных во второй части.
Помимо этого, в частях постоянно присутствует музыкальная константа в виде ударных инструментов либо перкуссии, которые задают темп и ритм, придавая четкости и ясности всей музыкальной фактуре.
Так выглядит и звучит проект в FMOD.
Оценить проект интерактивно можно скачав .exe билд.
все мои ссылки:
В прошлый раз мы говорили о том, что такое Интерактивная музыка, зачем он нужна и какие задачи выполняет: Об интерактивной и вариативной музыке в современных видеоиграх. Часть 1
Сегодня же попытаемся раскрыть понятие Вариативности музыки в видеоиграх.
Наш слух довольно легко и быстро распознаёт знакомые мелодии и звуки, особенно если слушать их десятками и сотнями часов — сколько иногда проводят в играх геймеры.
От частой повторяемости и предсказуемости музыкальных ходов внимание отключается от восприятия музыкального сопровождения как части атмосферы. Так музыка может стать раздражающим фактором, мешающим услышать что-то более важное (разговоры NPC, например), а игра попросту может быстрее наскучить. И это не то, чего хотят разработчики. Даже звуки шагов могут начать раздражать, а музыка — тем более.
Один из выходов — заказывать у композиторов долгие по продолжительности музыкальные произведения, имеющими не повторяющиеся пассажи и сменяющие друг друга инструменты. В общем такую музыку, которую будет сложно запомнить полностью.
Но такой выход имеет недостаток — каждый раз запуская игру, пользователь будет слышать произведение сначала и оно в итоге всё равно будет хорошо узнаваться. Можно осуществить воспроизведение трека с того момента, на котором оно остановилось во время прошлого сеанса, но насколько плавным будет «вливание» игрока в процесс после долгой паузы?
Другой выход, широко распространённый сегодня — написание Вариативной музыки. Простыми словами такая музыка представляет из себя следующее.
Представим, что в музыкальном произведении играет 8 инструментов. Возьмём, например, ударные. Так вот у них будут несколько вариантов партий, каждая из которых уникальная и при этом хорошо гармонирует с другими инструментами. Партии ударных сменяют друг друга в рандомном порядке с определенной вероятностью: в этот раз сыграли в одном ритмическом рисунке, следующий раз возможно сыграют в другом или вообще промолчат.
А теперь представьте, что КАЖДЫЙ из 8-ти инструментов трека имеет по несколько вариантов партий, ВСЕ они воспроизводятся согласно Теории Вероятностей и каждый раз мы слышим НОВОЕ сочетание всех этих инструментов. И в таком случае мы не сможем угадать какое сочетание получим в следующий раз.
А таких «сборных» вариантов трека, например, пусть будет 2. И пусть эти два варианта плавно перетекают друг в друга тоже с какой-нибудь вероятностью.
Так упрощенно выглядит схема музыкальных дорожек, про которую только что было сказано.
Это окно программы FMOD Studio – одной из программ предназначенных для имплементации (внедрения) звуков и музыки в игровые движки
Примерно так эта нехитрая система работает в играх. В этом видео я также показал как осуществлён элемент Интерактивной музыки (см. предыдущую часть поста)
Такая музыка будет казаться новой вариацией привычного трека, что сильно разнообразит атмосферу привычного игрового процесса.
Данный пост (как и предыдущая его часть) предназначен для начинающих интересоваться как устроен звук в видеоиграх. На деле музыка в игре может быть реализована гораздо сложнее, с учётом всевозможных различных мелких игровых факторов, что даёт игроку ощущение будто игра чувствует его и даёт отклик на все действия.
Благодарю за Внимание!
Когда игра сама формирует музыкальное сопровождение.
Композитор Мартин Стиг Андерсен, который писал музыку для Wolfenstein, Limbo, Inside и Control, рассказал изданию MCV об главных особенностях своего творчества, а также поделился подробностями работы над саундтреками. Мы выбрали из текста главное.
По словам Андерсена, его привлекают к разработке на этапе препродакшена, когда у команды есть чёткое понимание того, какой должна быть музыка в игре. Обычно он приступает к работе за год или два до релиза.
Лучше всего, если композитору доступна полноценная версия игры, но некоторые разработчики не могут пойти на это из соображений безопасности. В ином случае может подойти созданный разработчиком проект для интеграции музыки (например, проект Wwise). Также очень важно иметь доступ к концепт-артам, видео, сценарию и так далее. Ещё можно посетить сам офис студии и ознакомиться с игрой вместе с разработчиками.
Андерсен всегда старается наладить тесный контакт с саунддизайнерами, чтобы в музыке и звуке прослеживались единые мотивы. Например, при создании Wolfenstein: Youngblood и Control, разработчики предоставили различные SFX и записи, которые он мог интегрировать в саундтрек.
Во время работы над Control у Андерсена была огромное количество материалов, созданных ведущим звуковым дизайнером Вилле Сорса с помощью системы Eurorack. А для SFX в Youngblood композитор сделал несколько записей с помощью инструмента Resonant Garden, который он использовал в музыке. Такие решения помогают связать воедино звуковой мир игры.
По словам Андерсена, в линейных медиа всегда понятно, что будет дальше, а в нелинейных — нет, поэтому музыка должна это учитывать. В играх всегда нужен компромисс между логикой композиции и уровнем её интерактивности. Например, в Wolfenstein автор стремился настроить реакцию музыки таким образом, чтобы она менялась в зависимости от ситуации в течение двух-пяти секунд. Такой подход исключает существование сложных композиций.
В других случаях он использует длинные музыкальные структуры, которые учитывают интерактивность. Например, пятиминутная композиция будет состоять примерно из 100 сегментов, которые игра в реальном времени составляет вместе.
В Control Remedy по-максимуму использовала концепцию интерактивной музыки. Вместо того, чтобы создавать сэмплы инструментов в секвенсоре, Андерсену приходилось создавать последовательности с помощью Wwise — а их в дальнейшем использовала сама игра.
Это значит, что Control для формирования музыки учитывает множество факторов, например, расстояние до ближайшего врага, уровень здоровья и так далее. Можно сказать, что сама игра — это композитор. Примерно так же работает музыка в Limbo и Inside — Андерсен называет это мета-композицией, потому что он формирует подход, с помощью которого игра сама будет формировать мелодию.
Андерсен рассказал, что при создании линейных композиций для саундтрека ему приходилось записывать материалы, которые генерировал Wwise, а затем смешивать их с изначальными треками. В Limbo ему также приходилось записывать саундтрек прямо из игры, так как часть музыки была сгенерирована ей самой.
По словам композитора, к нему часто обращаются ради создания уникальной музыки, поэтому у него большая творческая свобода. Для поиска чего-то нового очень важно экспериментировать и доверять своим ощущениям. При этом Андерсен не любит сопровождать свои треки какими-то комментариями, а даёт музыке говорить самой за себя. Он считает, что описания и объяснения мешают слушателю и создают предубеждения.
Андерсен рассказал, что стиль работы во многом зависит от самой игры. Например, с инди-разработчиками проще договориться о предоставлении прототипа игры. Также в независимых проектах часто требуется помощь с другими аспектами, поэтому композитор занимается ещё и саунддизайном.
Также Андерсен признался, что очень любит экспериментировать с музыкой, поэтому он берётся за самые разные задачи. Например, он создавал звуковой ландшафт для подводного окружения в Shadow of the Tomb Raider, в котором стремился передать ощущение клаустрофобии.
Каждый знает, что такое видеоигры . Но все ли в курсе насколько глубока проработка звука в них?
В игровом саунд-дизайне очень важно понимание не только как должны звучать музыка и звуковые эффекты, но и как их грамотно подключить, как и когда они должны работать. Всё для того, чтобы помочь игроку глубже погрузиться в виртуальный мир и получить максимум удовольствия от процесса.
Для того, чтобы с помощью звука игрок смог проникнуться атмосферой мало озвучить объекты в игре. В современных видеоиграх музыка автоматически подстраивается под игровую ситуацию. Что это значит и для чего это нужно?
Интерактивной музыкой называют такую, которая меняется в зависимости от действий игрока, подсказывая о каких-либо важных изменениях в геймплее.
Например, представим игру с видом от третьего лица. Персонаж исследует мир, общается с другими персонажами, выполняет какие-либо несложные спокойные квесты и на фоне всего происходящего играет музыка — такая же спокойная, умиротворённая. Назовём её музыкой режима Exploration.
Но вдруг ситуация резко изменилась, из-за угла появились явно настроенные против нас персонажи, готовые вступить в бой. И если в звуковом окружении в этот момент ничего не произойдёт, игрок не почувствует сопричастность процессу, например, как при просмотре фильма. Он может просто не заметить серьёзности игровой ситуации, которую задумал разработчик. Но если же в момент боя заиграет более тревожная музыка (музыка режима Combat), игрок поймёт что что-то изменилось, внимание обострится и эффект погружения повысится. От такой игры пользователь получит гораздо больше удовольствия, т. к. он почувствует отклик на свои действия.
В идеале музыка будет меняться плавно, без резких стыков, как будто композитор заранее знал, что бой случится именно в эту секунду. Иногда так и есть, но а если бой начинается только в тот момент, когда игрок подходит в какое-то определённое место? Как угадать этот момент? Это один из вопросов, который должен решить композитор для игр – как и когда делать плавные переходы (transitions) музыки из одного настроения в другое. Но это уже совсем другая тема.
Музыка в современных играх — это один из важных способов передать эмоцию, помочь игроку погрузиться в игровой мир и прочувствовать опыт персонажа, которым он управляет.
Обратите внимание на этот момент в игре, которую сейчас играете или разрабатываете. Отвечает ли виртуальным мир на Ваши действия с помощью музыки? Меняется ли атмосфера и общее настроение от Вашего выбора?