Концепция ВИ: Визуальное исследование направлено на выявление взаимосвязей между звуком, эмоциональными реакциями и визуальными образами, выраженными посредством цвета, движения и формы. Звук рассматривается как наглядный художественный язык, источник эмоционального воздействия и визуальной информации.
Цель: Выявить, как звуковые характеристики соотносятся с визуальными и эмоциональными паттернами.
Актуальность: В современном мире мультимедиа и цифрового искусства возрастает потребность в понимании того, как звук влияет на эмоции и визуальное восприятие. Комбинация звука, формы и цвета лежит в основе кино, дизайна, рекламы и др. Изучение этих связей помогает создавать более выразительные, эмоционально точные и понятные визуальные системы, а также развивать искусство, психологию и современные креативные индустрии с разных сторон.
Связи между акустикой, эмоциями и визуальными образами рассматривает психоакустика.
Психоакустика изучает, как человек воспринимает звук, как он его ощущает и интерпретирует. Почему одни сочетания нам слышатся приятными, а другие — нет; почему одинаковые частоты воспринимаются по-разному и др.
Как ухо воспринимает звук: звуковая волна проходит через наружное ухо, усиливается в среднем и превращается в колебания во внутреннем ухе. В улитке волосковые клетки преобразуют колебания в импульсы, которые идут в мозг и интерпретируются в звук.
Строение уха
Эмоции и звук
Звук играет важную роль в состоянии человека и восприятии мира. Он воздействует напрямую, минуя логическое осмысление, что позволяет быстро менять настроение и моментально формировать реакции. Эмоции, в свою очередь, помогают человеку интерпретировать звуковые сигналы и связывать их с опытом .
Звук характеризуется: частотой (высотой тона), громкостью (силой звучания), тембром (окраской, позволяющей отличать инструменты при одинаковой ноте) и ритмом (организацией звуков во времени) .
Музыка активирует области мозга, отвечающие за эмоции, удовольствие и память.
Музыка способна: • снижать уровень стресса; • поднимать настроение; • вызывать ностальгию и воспоминания; • помогать сосредоточиться или наоборот — расслабиться; • усиливать эмоциональное восприятие визуальных объектов: фильмов, игр, театральных постановок.
Разные элементы музыки по-разному влияют на психику: • Мелодия может передавать грусть, тревогу, радость, или умиротворение. Мягкие нисходящие мелодии успокаивают, а резкие восходящие создают напряжение; • Ритм определяет динамику эмоциональной реакции. Быстрый ритм повышает энергию и бодрит, медленный — расслабляет; • Тембр влияет на глубину переживаний: тёплый мягкий звук вызывает чувство комфорта, холодный или резкий — тревогу или напряжение; • Гармония может быть приятной и устойчивой — вызывая чувство спокойствия, или диссонансной — создавая ощущение смятения, ожидания.
Человек часто связывает определённые звуки с конкретными эмоциональными состояниями, формируя устойчивые ассоциации.
Ассоциации между звуком и настроением: • Природные звуки (шум дождя, море, ветер) обычно ассоциируются со спокойствием и умиротворением; • Высокие звуки — могут вызывать напряжение или тревогу, так как в природе резкие высокие сигналы часто предупреждают об опасности; • Низкие частоты — погружают в расслабленное или задумчивое состояние, но иногда могут вызывать ощущение тревоги, если звук слишком мощный; • Резкие, внезапные звуки — вызывают испуг, так как активируют инстинктивные реакции; • Голос с мягкими интонациями ассоциируется с заботой, спокойствием; громкий и резкий — с агрессией или возбуждением.
Ассоциации могут быть: • универсальными (например, тихий звук — спокойствие); • культурными (принадлежащие определённым народам, например, традиционные музыкальные инструменты); • личными (связанными с опытом конкретного человека).
Визуализация звука
Визуализация звука — это различные способы «увидеть» звук (на экране, в реальном объекте или в интерактивной инсталляции).
Спектрограммы - графические изображения звука. Позволяют: • видеть структуру речи и музыки (паузы, ноты, шумы), • сравнивать разные звуки, • давать нейросетям «картинку звука» для классификации или распознавания речи.
Cymatics (киматика) — это визуализация звука через физические среды: • песок на металлической пластине (Chladni plate), • вода, • тонкие мембраны, жидкости и т.п. Пластину вибрируют звуком, и частицы (песок, вода) сами выстраиваются в сложные геометрические узоры .
Киматика используется: • в научных экспериментах с резонансом и шумом, • в инсталляциях (art & science), • как способ интуитивно показывать «форму» звука.
Генеративная графика в контексте звука — изображение порождается алгоритмом, который реагирует на аудио
Используется в: • VJ-сетах, лайв-перфомансах, • генеративных арт-инсталляциях, • веб-проектах с WebGL/Three.js.
Синестезия
Синестезия — это особенность восприятия, при которой одно чувство автоматически активирует другое. Например, человек может «видеть» звуки или «чувствовать» цвета .
Синестезия звука — это форма синестезии, при которой звуки автоматически вызывают дополнительные чувственные ощущения .