Технологии сонификации и записи биологических сигналов растений

Исследование построено на сравнении семи объектов: корней, мха, комнатных растений, грибов, томатов, сосны и годовых колец дерева. Каждый объект связан с отдельным способом получения звука. В случае корней используется биосонификация через электроды и синтезатор; мох рассматривается через контактную запись микровибраций; комнатные растения — через перевод электрической проводимости в MIDI-ноты; грибы — через биоэлектрические сигналы, управляющие роботизированными руками; томаты — через запись реальных ультразвуковых эмиссий при стрессе; сосна — через сонификацию экофизиологических данных; годовые кольца дерева — через алгоритмический перевод визуальной структуры древесины в звук.

Главный вопрос исследования: какие типы биологических данных можно сделать слышимыми и как технология влияет на то, что мы в итоге воспринимаем как звук живого?В разных главах звук возникает по-разному: как результат электрического измерения, механической вибрации, ультразвуковой записи, MIDI-перевода, параметрической сонификации или анализа изображения. Поэтому каждый фрагмент показывает не только особенности самого организма, но и ограничения выбранного метода.

Теоретически проект связан с понятием звукового ландшафта, но в случае биосонификации границы этого понятия расширяются, ведь в ландшафт попадают не только слышимые звуки, но и скрытые сигналы, которые становятся доступными только через технологию. Поэтому мой проект можно назвать исследованием невидимой или неслышимой части лесного саундскейпа.

Работа также подчёркивает важное различие между прямой записью и сонификацией. Например, ультразвуковые щелчки томатов являются реальными акустическими эмиссиями, которые нужно только перенести в слышимый диапазон. А звук комнатных растений или грибов с роботизированными руками — это уже результат перевода биоданных в музыкальные параметры. Таким образом, технология не просто «показывает» звук природы, а активно формирует его.

Каждый звук я рассматриваю с двух сторон. С научной — объясняю, что именно подключается, какой сигнал считывается. С личной — описываю, какое ощущение вызывает этот звук для меня.

Биосонификация создаёт ситуацию, в которой лес перестаёт быть просто фоном и становится сложной живой системой, часть которой мы можем услышать только через приборы. В этом смысле тишина леса оказывается не пустотой, а границей нашего восприятия.

Я начинаю исследование с корневой системы, потому что это растение связано с основным слоем леса. В структуре проекта оно обозначает старт с его нижнего, менее слышимого уровня.

В этом примере звук рассматривается скорее как звуковая реакция биоматериала, нежели настоящий звук объекта. В биосонификации живой объект подключается к системе через электроды или сенсорные клипсы. [1]

Прибор фиксирует изменения электрической проводимости / сопротивления между двумя точками органической поверхности. На такой отклик могут влиять влажность, свет, площадь контакта и состояние самого объекта. Затем эти изменения переводятся в управляющие сигналы для модульного синтезатора: они могут менять высоту, ритм, фильтр, громкость или тембр звука.

На изображении из видео виден Eurorack-модульный синтезатор. Это система из отдельных модулей, соединённых patch-кабелями. В Eurorack такие модули могут обмениваться аудиосигналом и control voltage — управляющим напряжением. Control voltage не звучит сам по себе, а меняет параметры синтезатора: высоту, фильтр, громкость, модуляцию или запуск событий. Поэтому в этой главе корень работает не как музыкальный инструмент в обычном смысле, а как источник изменяющегося сигнала, который влияет на электронную систему. [2]

По моему ощущению, звук корней, как и сама их биологическая структура, сочетает в себе твёрдость, звонкость и внутреннюю устойчивость. Характер звучания также связан с выбранной методикой — биосонификацией. Я слышу в нём хаотичные, непредсказуемые изменения, будто вся корневая система очень медленно прорастает, питает дерево и реагирует на среду. Каждое такое микродействие как будто получает собственную ноту или короткий звуковой импульс.

Для второй главы я использую проект Moss Listening художников Jez riley French и Pheobe riley Law. В отличие от MycoLyco, здесь мох не подключается к синтезатору как контроллер. Авторы работают с обычными видами мха, почвенными слоями и микоризными сдвигами. Эти записи сделаны с помощью самодельных микрофонов. [3]

Технология здесь заключается в контактной полевой записи. Контактный микрофон, в отличие от обычного микрофона, улавливает вибрации твёрдой поверхности или материала. То есть если обычный микрофон записывает то, что распространяется по воздуху, контактный микрофон фиксирует структурные вибрации внутри объекта или среды. [4]

Jez riley French отдельно пишет, что использует разные микрофоны и устройства слушания для таких записей: c-series+ contact mics, адаптированные контактные микрофоны, ecoutic mic, d-series hydrophones и адаптированные геофоны. Эти инструменты применяются для записи звуков внутри деревьев, папоротников, мха, мицелиальных сетей и других растений. [5]

Здесь звук воспринимается мной почти как привычный ASMR, и это напрямую связано с технологией его получения. В отличие от синтезаторного звучания, в этом фрагменте я слышу более натуральные, естественные микровибрации среды. Они создают очень приятное, телесное ощущение, словно мне мягко щекочет слух и мозг.

Для третьей главы я беру технологию PlantWave и видео Plant Music Sound Bath — PlantWave Quartet — 528hz. В этом фрагменте звучат четыре комнатных растения, подключённые к системе PlantWave. [6] Это подходит для моего исследования, потому что здесь растение звучит не через модульный синтезаторный патч, как в первой главе, и не через контактную запись вибраций, как во второй, а через перевод биоданных в музыкальные ноты.

Технология PlantWave измеряет микроколебания проводимости между двумя точками на растении. Эти изменения связаны с тем, как через растение проходит электрический сигнал; на проводимость могут влиять вода, физиологическое состояние растения и процессы, связанные с фотосинтезом.

Далее устройство отображает изменения как волну и переводит её в высоту звука — pitch. После этого pitch-сообщения направляются в заранее созданные наборы инструментов, которые PlantWave называет soundsets. Т. е. в готовые наборы звуковых значений. [7]

При разборе PlantWave я заметил, что эта технология частично похожа на метод из первой главы: в обоих случаях растение подключается к системе через электроды. И там, и там важны изменения электрической проводимости живой поверхности. Но дальше эти данные используются по-разному.

В первой главе сигнал работает как управляющее напряжение для модульного синтезатора: он может менять фильтр, тембр, ритм, плотность или запускать события через CV/gate. В PlantWave этот перевод более музыкально организован: данные растения превращаются в высоты, ноты, паузы и инструментальные слои. Поэтому такой тип звучания воспринимается более мелодично и спокойно.

По моему ощущению, звук комнатных растений воспринимается более мягко и собранно, чем звук корней. Если в корнях я слышу хаотичное, почти подземное движение, то здесь звук кажется более светлым, воздушным и спокойным. В нём меньше грубой фактуры и больше ощущения мелодичности. Растения находятся в комфортной обстановке, медленно реагируют на пространство вокруг себя. В этом чувствуется настоящая гармония с собой и с окружающим миром.

Для четвёртой главы я беру видео Mushroom Playing Keyboard проекта Bionic and the Wires. В отличие от предыдущих примеров, здесь гриб управляет электронным тембром внутри синтезатора. Его биоэлектрический сигнал переводится в движение и роботизированные руки физически нажимают клавиши. Поэтому эта глава показывает другой способ вывода звука — не только через синтез, но и через механическое действие. [8]

Главное отличие этой технологии в том, что гриб не просто управляет параметрами синтезатора. Его биоэлектрические изменения проходят через дополнительный физический этап: сначала они становятся управляющим сигналом, затем этот сигнал запускает движение роботизированных рук, и уже руки нажимают клавиши. Проект Bionic and the Wires использует биосенсоры, бионические руки и электронные инструменты для создания музыки из растений и грибов. [9]

Звук грибов с роботизированными руками воспринимается более механически и телесно. Мне кажется, этот звук не такой гармоничный, как у комнатных растений. Он более неровный, немного чужой и даже забавный. Будто организм, у которого нет рук и привычного способа играть музыку, вдруг получает механическое тело. В этом звучании я слышу не мелодию гриба, а попытку перевести его скрытую активность в человеческий музыкальный язык.

Главный источник — исследование Khait et al. «Sounds emitted by plants under stress are airborne and informative» и открытый датасет Recorded plant sounds. В нём есть записи Dry Tomato — томатов, которые не поливали 4–6 дней, пока влажность почвы не опустилась ниже 5%. [10]

В случае томата растение действительно испускает воздушный акустический сигнал, просто он находится выше человеческого слуха. Исследователи записывали ультразвуковые звуки томата и табака в акустической камере и теплице. Они использовали ультразвуковые микрофоны в диапазоне 20–250 кГц, расположенные примерно в 10 см от растения. В эксперименте звуки растений находились примерно в диапазоне 40–80 кГц, поэтому человек не может услышать их напрямую. [11]

В исследовании сухие томаты издавали в среднем 35,4 звука в час, тогда как контрольные растения издавали меньше одного звука в час. Средняя пиковая частота сухого томата была около 49,6 кГц, а средняя пиковая интенсивность — 61,6 dBSPL на расстоянии 10 см. В открытом датасете WAV-файлы очень короткие: каждый длится около 2 мс и записан с частотой дискретизации 500 кГц. Поэтому для прослушивания их нужно замедлить или понизить частоту. [12]

Я нашёл открытый источник EurekAlert! , где и совершили данный процесс. [13]

Научное объяснение этих щелчков связывают с водным стрессом растения. Когда растению не хватает воды, в ксилеме — проводящей системе, по которой движется вода, — может происходить кавитация: образование и схлопывание пузырьков воздуха. Такие процессы создают вибрации и ультразвуковые акустические эмиссии.

Звук томатов воспринимается самым резким и уязвимым. В нём нет абсолютно никакой гармонии — только короткие сухие щелчки, будто внутри растения что-то трескается от напряжения. Я чувствую через данные звуки, как растение обезвожено.

trees: Pinus sylvestris — художественно-научный проект Маркуса Медера и Романа Цвайфеля. Он был сделан Zurich University of the Arts вместе со Swiss Federal Institute for Forest, Snow and Landscape Research. Объектом стала сосна обыкновенная — Pinus sylvestris — в Швейцарских Альпах, в районе Salgesch, кантон Valais. Проект исследовал, как дерево реагирует на климатические условия, особенно на засуху и водный стресс. [14]

В эксперименте trees: Pinus sylvestris исследователи взяли одну живую сосну обыкновенную в Швейцарских Альпах и пытались сделать слышимыми её скрытые жизненные процессы. Они записывали ультразвуковые щелчки и потрескивания, связанные с движением воды и кавитацией в проводящей системе растения.

Команда адаптировала датчики, которые обычно используют в неразрушающем контроле материалов, сделала их водонепроницаемыми, усилила слабые сигналы и даже собрала собственные пьезо-сенсоры с медной иглой, чтобы лучше передавать вибрации из ткани растения. Эти сигналы затем оцифровывались через ультразвуковые аудиоинтерфейсы и записывались вместе с физиологическими данными дерева.

Далее они измеряли микроклимат, сокодвижение, изменения радиуса ствола и ветвей, водный потенциал, влажность, солнечную радиацию и другие параметры. Затем всё это превращалось в генеративную звуковую систему. Часть реальных акустических эмиссий дерева переносили в слышимый диапазон через ресэмплинг (высокие ультразвуковые сигналы становились ниже).

Постоянные потрескивания воспроизводились в зацикленном варианте, а их громкость зависела от скорости сокодвижения; более громкие кавитационные импульсы запускались как отдельные аудиосэмплы, где высота и амплитуда управлялись исходными измерениями.

Звук сосны воспринимается более глубоким и медленным. В нём слышится большой живой организм, который реагирует на воду, свет и климат. Отдельной звуковой дорожкой я слышу сокопроводяющую систему, напоминающую мне кровеносную систему человека. Как будто ты прислоняешься ухом к ракушке и слышишь свои внутренние органы.

Для пятой главы я беру проект Years художника Bartholomäus Traubeck. Здесь звучит срез уже мертвого дерева. Художник создал модифицированный проигрыватель, где вместо иглы используется камера, которая считывает годовые кольца дерева и затем полученные изображения переводит программой в фортепианные ноты.

До этого ландшафт звучал как нечто живое и происходящее сейчас. Каждое кольцо можно воспринимать как след сезона, изменения среды, роста и возраста. Поэтому эта технология работает не с реакцией растения, а с его памятью. Palazzo delle Esposizioni описывает проект как генеративный процесс, где параметры годовых колец — сила, толщина и скорость роста — становятся основой фортепианной композиции. [15]

Звук срезов дерева воспринимается как музыка памяти. Фортепианные ноты звучат отстранённо и немного призрачно, будто дерево не говорит сейчас, а вспоминает всё время, которое прожило. Но в то же время я чувствую это сильное благородство, уважение и силу могущественного дерева.

В ходе исследования я рассмотрел несколько способов превращения биологических процессов в звук: биосонификацию корней, контактную запись мха, MIDI-перевод сигналов комнатных растений, механическое воспроизведение грибных биоданных, ультразвуковые эмиссии томатов, сонификацию физиологических данных сосны и алгоритмическое считывание годовых колец дерева. Во всех случаях звук возникает по-разному: через электроды, микрофоны, датчики, роботизированные механизмы, ультразвуковую запись или анализ изображения.

Главный вывод работы заключается в том, что «звук живого» почти всегда зависит от выбранной технологии. Иногда это реальная акустическая эмиссия, как у томатов, но чаще — перевод данных в слышимую форму. Поэтому такие записи нельзя понимать как буквальный голос растений или грибов. Это технически опосредованный способ услышать процессы, которые обычно остаются за пределами человеческого восприятия.