Pflanzen machen Musik

Pflanzen machen Musik – das klingt nach dem ersten Hören vielleicht etwas seltsam und die Meisten werden sich darunter nicht wirklich viel mehr als das Rauschen der Bäume vorstellen können. Jedoch besteht die Möglichkeit mehr musikalische Elemente aus einer Pflanze zu gewinnen, besser gesagt aus Informationen, die die Pflanze liefert, musikalische Elemente steuern lassen – wie eine Art Komponist, bzw. Dirigent. Diverse Künstler und Entwickler haben sich bereits mit den inneren Prozessen von Pflanzen befasst und mit Hilfe von Sensoren ihre biorhythmischen Ströme abgegriffen und in musikalische Elemente übersetzt. Dies ist Teil des Prozesses von Sonifikation. Sonifikation bedeutet das Hörbarmachen von Daten und dessen Informationsgut. Sonifikationsmethoden werden seit 1992 erforscht, da die Vielzahl an Daten neue Darstellungsformen erfordert.   

Eine solche Künstlerin, die sich auch als Sonic Artist identifiziert, ist Mileece Petre.

Über sie wurde 2014 ein Videobericht von Motherboard erstellt, in welchem sie ihre Arbeit mit Pflanzen erklärt (ab 2:30). Sie nimmt die in MIDI umgewandelten Biodaten der Pflanzen und produziert damit Musik.

Ein weiteres Beispiel dafür bietet die Firma Data Garden, welche das Tool „PlantWave“ entwickelt haben, welches Musikern die Möglichkeit bietet durch ihre Hardware gemeinsam mit ihren Pflanzen zu musizieren.

Prinzipiell kann man solche Tools mit jeder beliebigen Pflanze verbinden und somit überall die Musik hören. Joe Patitucci, der Gründer der Firma Data Garden, und der Sound Designer Jon Shapiro haben „PlantWave“ beispielsweise an einer Cannabis-Pflanze befestigt und mit ihr Musik produziert. Wiedererwartens war das musikalische Ergebnis der Pflanze nicht Reggae, sondern dynamische Klänge, welche sich immer wieder neue erfinden. Die Idee das Leben von Pflanzen durch Klang zu vermitteln kam Data Garden durch Cleve Backster, der 1970 Lügendetektoren an Pflanzen bindete, um Emotionen oder Feingefühl bei ihnen festzustellen. Data Garden arbeitet bei ihrem Tool „PlantWave“ mit dem Entwickler und Ingenieur Sam Cusumano zusammen. Cusumano entwickelte ein System, das die Schwankungen der internen Leitungen der Oberfläche von Blättern in MIDI Daten umwandelt und mit diesen Informationen Hardware- und Softwaresynthesizer zu steuern.  „ARCADIA“ ist eine interaktive Klanginstallation von Sam Nester, um die sich ständig wandelnde Musik der Pflanzen hörbar zu machen. Hierbei nutzt er ebenfalls die galvanische Leitfähigkeitsmessschaltung von Cusumano.

Im Gegensatz zu den oben genannten Sonic Artists, geht der Künstler Peter Ablinger nicht digital, sondern analog an die Pflanzen heran. Ablinger hört zum Beispiel auf die Klänge, die unterschiedliche Baumarten und Sträucher in Kombination mit Wind erzeugen und kategorisiert sie dadurch. In seiner Forschung „Weiss/ Weisslich 26, Skizzen für ein Arboretum“ beschreibt er durch welche Bäume welche Formanten erzeugt werden und wie man durch gezieltes Positionieren von Bäumen Musik pflanzen kann. Auch in seinen vorangehenden Forschungen in diesem Bereich hat er bereits das Baumalphabet definiert und die unterschiedlichen Klangfärbungen und Formanten der Baumarten etabliert. In einem Kurzbericht über Ablingers Arbeit beschreibt Caroline Torra-Mattenklott seine Herangehensweise und Verknüpfungen, die seiner Forschung vorangehen. Der Wind ermöglicht das Hören der Klangfarbe der Bäume.

Sonifikation von Pflanzen ist somit ein weites Feld zum Experimentieren mit musikalischen Harmonien und fördert den direkten Bezug zu den natürlichen Lebewesen in der Natur.

Quellen

Sonifikation –https://iem.kug.ac.at/forschung/computermusik/sonifikation.html (aufgerufen am 14.01.2020)
Mileece Petre, Sonic Artist – https://planet.mu/artists/Mileece/ (aufgerufen am 06.01.2020)
„PlantWave“ by Data Garden – https://www.midisprout.com (aufgerufen am 12.01.2020)
ARCADIA Sound Installation – https://www.youtube.com/watch?v=sVX97v96LZE (aufgerufen am 12.01.2020)
Peter Ablinger, Skizzen für ein Arboreum – https://ablinger.mur.at/ww26.html (aufgerufen am 12.01.2020)
Caroline Torra-Mattenklott, Vom Baumalphabet zum weissen Rauschen – https://ablinger.mur.at/docs/ww18u26.pdf (aufgerufen am 12.01.2020)



Active Acoustics – All Around Audio Symposium 2019

International Conference on Creative Media Technologies (IConCMT)

Am Mittwoch den 27. November 2019 haben wir an dem All Around Audio Symposium an der FH St. Pölten UAS teilgenommen, welches im Rahmen der International Conference on Creative Media Technologies (IConCMT) stattfand. Zu diesem Symposium kamen internationale Redner aus dem Bereich digitaler Medientechnologien, um über aktuelle Forschungen und Projekte zu referieren und diskutieren. Ebenso wurden Audiodemos und Installationen im Rahmen dieser Veranstaltung aufgebaut und zum Haut nah erleben der Ergebnisse zur Verfügung gestellt.   

Einer der Referenten war Fabio Kaiser, der für seine Firma Rohde Acoustics einen Vortrag über aktive Akustikinstallationen und dessen Anwendung in Musik und Kunst gehalten hat und hierbei das „Amadeus Active Acoustics“ – System vorstellte.

„What can Active Acoustics do? Applications for Speech, Music and Art”

Um die folgenden Inhalte zu verstehen, muss man zunächst den Ausdruck “Active Acoustics” verstehen. In der Welt der Raumakustik wird jeher versucht große Räume trockener zu machen, sodass die Hallzeit verringert und die Verständlichkeit dadurch verbessert wird. Das Konzept von „Active Acoustics“ nutzt die Rauminformationen, um die Hallzeit in beide Richtungen manipulieren zu können, das heißt sowohl den Raum akustisch größer gestalten, sodass er beispielsweise einem Kirchenklang ähnelt, oder die Hallzeit verringern, womit aus der Kirche wieder ein kleinerer Saal wird. Dies wird interessant, wenn man einen Saal für unterschiedliche akustische Veranstaltungen nutzen möchte. Beispielsweise sollen in der Andermatt Concert Hall (Schweiz) die Berliner Philharmoniker spielen, ebenso Seminare und Konferenzen stattfinden, kleinere Kammerorchesterformationen und normale Rock- und Popkonzerte.

So vielen verschiedenen Anforderungen gerecht zu werden, ist für einen Raum mit 650 Plätzen, ist eine akustische Herausforderung. Für eine Bass-geprägten Rockmusik wäre ein stark halliger Raum mit großer Nachhallzeit einem Desaster nahe, während eine Geige ihren Klang in einer trockenen Raumakustik nicht vollends entfalten kann.   

Für dieses und anderer Raumherausforderungen wendet Rohde Acoustics das Active Acoustics System von AMADEUS an.  

Dieses System nutzt eine Vielzahl an Lautsprechern und Mikrofonen, die im ganzen Raum verteilt werden. Dadurch kreiert AMADEUS in Echtzeit ein zeit- und positionsgenaues 3D-Reflexionsmuster. Zudem ermöglicht dieses System eine kostengünstige Lösung zur Mehrzwecknutzung eines Saals.

Ähnlich zum Amadeus System, hat Meyer Sound das Constellation entwickelt, welches man beispielsweise in Ingelheim im kING erleben kann. Das Constellation System optimiet durch ihre Anpassung der Raumakustik die Kommunikation der Musiker untereinander und fördert somit ein besseres Zusammenspiel. Meyer Sound nutzt hierfür ebenso eine Vielzahl an Mikrofonen und Lautsprecher, die im Raum und in den Wänden installiert sind, und zudem ein Signalverarbeitungssystem über D-Mitri. Da im persönlichen Gespräch mit Kaiser keine signifikanten Unterschiede dieser beiden Systeme festzustellen war, würde diese technische Recherche den Rahmen dieses Blogeintrags sprengen und wird deshalb nur in den Quellen vermerkt.

Ein weiteres Projekt, das Kaiser in seinem Vortrag zum Besten gab, war das James Bond Gebäude „Elements“ in Sölden. Hierbei wird ihr 3D Audio-System AMADEUS für die Raum und Elektroakustik angewendet und damit 3D Audio Soundscapes und immersive Klangerlebnisse produziert. Die Beschreibung für das neuartige Kinoerlebnis auf ihrer Website ist wie folgt:

„007 ELEMENTS begleitet den Besucher auf einer Reise durch eine Reihe von interaktiven Hightech Galerien, die sich um das Markenzeichen und alle klassischen Elemente eines James Bond Films drehen – wunderbare Titelsequenzen und dramatische Klangkulissen, atemberaubende Actionszenen ebenso wie Autos und technische Spielereien, einzigartige Drehorte, kultige Studio Sets und natürlich eine große Anzahl an überzeugenden Charakteren.“

Zusammengefasst war dieser Vortrag über die Digitalisierung der Raumakustik eines der spannendsten Vorträge an diesem Tag. Der Besuch dieser Veranstaltung an der FH St. Pölten war sehr interessant, solche Exkursionen sollten weiter gefördert werden, da es den aktuellen digitalen Forschungen zeigt und einen direkten Kontakt zur Industrie herstellt.

Quellen

Rohde Acoustics Website: https://www.rohde.at (Aufgerufen am 04.12.19)

IConCMT Website: https://iconcmt.fhstp.ac.at (Aufgerufen am 04.12.19)

Amadeus Acoustics Website: https://www.amadeusacoustics.com/what-is-amadeus (Aufgerufen am 04.12.19)

Meyer Sound Constellation https://meyersound.com/video/what-is-constellation/ (Aufgerufen am 04.12.19)

kIng Ingelheim Website: http://www.king-ingelheim.de (Aufgerufen am 04.12.19)

Video: „kING Ingelheim • Acoustical ambience with a Meyer Sound Constellation System”: https://www.youtube.com/watch?v=H15vf4ew-2Y (Aufgerufen am 04.12.19)

Amadeus Active Acoustic Projekte: https://www.amadeusacoustics.com/projects (Aufgerufen am 04.12.19)

“Active Acoustics – What Are They and How Do They Work?” – Rodgers, Julian (2017) https://www.pro-tools-expert.com/home-page/2017/9/6/active-acoustics-what-are-they-and-how-do-they-work (Aufgerufen am 08.12.19)

Andermatt Concert Hall – Swiss Alps https://www.andermatt-swissalps.ch/en/experiencing-andermatt/concert-hall/ (Aufgerufen am 08.12.19)

007 ELEMENTS – Sölden https://007elements.soelden.com/de/home.html (Aufgerufen am 08.12.19)

Watch out – Europe on Fire!

European Youth Awards 2019

Am 28. November 2019 fand die Verleihung der EY-Awards im Audimax an der FH Joanneum in Graz statt. Der European Youth Award ist ein Wettbewerb, der eine Initiative zur Förderung neuer digitaler Entwicklungen von jungen Menschen (bis 33 Jahre), Start-ups und Sozialunternehmen ist. Die EY-Awards bieten eine Plattform für den Austausch innovativer Ideen und die Motivation für deren Umsetzung. Dieses Event kombiniert Inspiration, Motivation, Innovation, internationales Networking und Wissen und fördert somit moderne technische Lösungen.

Eines der Projekte war „Eye Build it“, welches der deutsche Masterstudent Adrian Wegener im Rahmen der diesjährigen EY-Awards präsentierte. Dieses Projekt gewann in der Kategorie „Connecting Cultures“ und wurde deshalb an der Verleihung präsentiert.

„Eye Build it“

„Eye Build it“ ist ein Augen getracktes 3D Programm, welches es Menschen mit physischer Einschränkung, wie zum Beispiel Querschnittslähmung, ermöglicht nur anhand ihrer Augenbewegungen Modelle zu zeichnen und zu kreieren. 

Diese Anwendung kombiniert die technischen Umsetzungsmethoden wie UX-Design, 3D-Printing und Eye-Tracking mit einem sozialen Nutzen zur Förderung von Inklusion und Therapie. Dadurch wird es dem Nutzer ermöglicht nur anhand der Bewegung der Augen etwas physisch zu kreieren, was derzeit noch einzigartig ist. Das Bild zeigt eines der visuellen Ergebnisse, die mit dem „Eye Build it-Creator“ gebaut wurde und nun Teil einer virtuellen Welt im Online Kommunikationsmodus genutzt werden kann oder mit Hilfe eines 3D Druckers physisch erfahrbar gemacht werden. Zudem ist diese Art des augengesteuerten Bauens durch das Programm leichter zu lernen, da man seine Objekte durch virtuelle Blocks zusammensetzt. Generell ist das Zeichnen mit den Augen nämlich eher schwierig, da es einen hohen Grad an Konzentration erfordert seine Augen länger auf etwas zu fokussieren.

Das künstlerische Zeichnen mit Augen zur Erweiterung der kognitiven Kreativität von Künstler wurde bereits 2015 entwickelt und umgesetzt. Ein Beispiel hierfür bietet der Künstler Graham Fink, dessen Werk in diesem Bild dargestellt ist. Ein solches Portrait entsteht innerhalb weniger Minuten und kann Live von den Besuchern der Londoner Galerie Riflemaker miterlebt werden. Hierbei wird der künstlerische Geist mit den neusten Eye Tracking Innovationen von Tobii verbunden und durch das Konzentrationvermögen des Künstlers selbst umsetzbar gemacht.

Im „Eye Build it – Creator“ ist es möglich dieses schwierige Konstruieren für die Massen möglich zu Machen und bietet zudem eine eigene Cyber-Space Plattform, in welcher sich die Creator über ihre Kunstwerke austauschen können. Hierbei findet auch eine Verbindung zwischen körperlich nicht eingeschränkten und eingeschränkten Menschen statt und verkleinert dadurch die Barriere zwischen ihnen. Zudem ist das Teilnehmen nicht teuer, da man einen Stick mit der Vollversion des Programms schon für 150€ erhält.

Zusammengefasst lässt sich sagen, dass die European Youth Awards einen besonderen Rahmen bieten für interkulturellen Austausch über neuste technische Entwicklungen der Digitalisierung, welche einen Nutzen für unsere Gesellschaft und dessen Weiterentwicklung bietet. Falls mir selbst eine kreative Idee innerhalb des nächstes Jahres kommt, welches sich in das Programm der EY-Awards einbinden ließe, würde ich ebenfalls im nächsten Jahr daran teilnehmen.

Quellen

European Youth Award Website: https://eu-youthaward.org/eya_contest/ (Aufgerufen am 04.12.19)

Winning Projects EYA19: https://eu-youthaward.org/winning-projects-2019/ (Aufgerufen am 04.12.19)

Eye Build it Website: https://www.eye-build-it.com (Aufgerufen am 04.12.19)

Adrian Wegener Profil: https://eu-youthaward.org/winner/adrian-wegener/ (Aufgerufen am 04.12.19)

Eye Build it Pictures: https://drive.google.com/drive/folders/1BSsJqZ_NeXII8dEv6R3JwF6VhYnz2QY6 (Aufgerufen am 04.12.19)

“Eye Build it”- Presseberichte: https://drive.google.com/drive/folders/1YqhiHbxb8ru6qpeJAt2cPXmIIoF9MYU0(Aufgerufen am 04.12.19)

“Eye-Tracking Tech Lets Artist Draw Hands-Free” – Seekers (Article, 2015) https://www.seeker.com/eye-tracking-tech-lets-artist-draw-hands-free-1769626111.html (Aufgerufen am 07.12.19)

„Eye Tracking und kognitives Denken in der Kunst“ – Eye-Tracking Kompetenzzentrum (Article, 2015)              https://eyetracking.ch/eye-tracking-und-kunst/ (Aufgerufen am 07.12.19)

– Immersive Storytelling –

„Eintauchen in eine andere Welt – Teil einer Geschichte werden“ – das ist das Ziel und die Intension, die man mit immersive Storytelling verfolgt. Diese Methode wird in unterschiedlichen Bereichen angewendet, um Informationen auf anschauliche Weise mit den Menschen zu kommunizieren. Indem man den zu vermittelten Inhalt in eine Geschichte packt, kann das Gehirn diese Informationen leichter aufnehmen, da es Bilder erzeugt und diese mit realen Erlebnissen und Emotionen verknüpft, wodurch wir das Gefühl bekommen das Gelesene oder Gesehen tatsächlich zu erleben.

Anwendungsgebiete wäre hierbei zum Beispiel

Künstler   Kinder-/ Erwachsenenbildung  
Journalismus   Werbebranche
PR und Marketing   Pädagogen/ Psychotherapeuten  

Der Begriff Immersion bedeutet das Hineintauchen in eine Umgebung, sodass der Nutzer das Gefühl hat die virtuell erzeugt Umgebung entspricht der realen Erfahrbarkeit. Durch die immersive Erfahrbarkeit werden neue Möglichkeiten für andere Realitäten geboten. Da der Mensch am Meisten von Dingen emotional bewegt wird, die ihn selbst betreffen, bekommt man mit immersive Storytelling die Möglichkeit ihn in die Geschichte zu integrieren und bei Entscheidungen mitzuwirken, was den Zuschauer dann vom passiven Beobachter zum aktiven Teilnehmer des Erlebnisses macht. 

Storytelling kann man auf Deutsch als „Geschichten erzählen“ übersetzen und beschreibt die Vermittlung von Informationen durch Geschichten. Hierbei werden komplexe Inhalte für den Rezipienten einfach veranschaulicht, sodass das Interesse aufrecht gehalten wird und sich somit die Informationen im Gehirn des Nutzers leichter verankern. Das Grundprinzip des Storytellings fokussiert sich somit darauf, Informationen zu vereinfachen, das Wichtigste ansprechend darzustellen und dem Nutzer somit den Inhalt kognitiv unkomplizierter zu verstehen zu geben.
Eine gute Geschichte besteht immer aus einer Art Heldenfigur, den Protagonisten, ein Ereignis oder ein Problem, auf das unser Held trifft und den Weg zur Erkenntnis, der Lösung oder das Eingestehen des Scheiterns. All diese Merkmale bieten den Grundbaustein für ein gutes Storytelling, das den Nutzer berührt.


Diese Methode folgt einem systematischen Verfahren, welches dramaturgisch einen Spannungsbogen über die gesamte Geschichte spannt und somit die Struktur für die zu vermittelnden Inhalte bietet, die einprägend für den Nutzer sein sollen.


Diese Grafik zeigt ein Beispiel für einen Spannungsverlauf einer Geschichte.

Um eine Geschichte möglichst immersiv zu gestalten, werden heutzutage aktuelle digitale Multimediatechniken verwendet, um eine sogenannte „digital Experience“ zu gestalten. Hierbei ist man vor technischen Herausforderungen gestellt, da es schwierig ist alle Sinneskomponente zu vereinen, um eine neue realwirkende Welt zu schaffen. Wenn man auf Google Bilder nach „Immersive Storytelling“ sucht, bekommt man hauptsächlich Ergebnisse wie VR und AR Experiences und visuelle Spielwelten. Eine virtuelle Welt kann man aber nicht nur durch die Nähe von Technik, also direkt um die Augen, Ohren und Hände, sondern auch im Raum um den ganzen Körper erstellen, was zum Beispiel durch 360 Grad Projektionen und dementsprechender Audioverteilung im dreidimensionalen Raum.

Ein Beispiel für ein solches immersives Storytelling wäre die Installation in der Brauereiwelt von Stiegl. Hierfür hat Stiegl zur Vermittlung der Geschichte ihrer Brauerei und zum Näherbringen ihrer Produktionsmethoden und ihrer Produkte ein immersives Erlebnis für ihre Besucher geschaffen, welches durch eine rundherum Projektion das Gefühl vermittelt im Herzen der Brauerei zu sein.  

Ebenfalls mithilfe von Projektionen wird erforscht, ob das Schaffen von virtuellen Räumen im Schlafzimmer zu einem besseren Schlaferlebnis führt. Hierfür gibt es ein Beispielvideo von IKEA, welches diese Art von „Dream Room“ veranschaulicht.

Diese Art von räumliche Veränderung im eigenen Zuhause wurde auch in der Zukunftswelt des Films „Cloud Atlas“ dargestellt, welches die individuelle Raumgestaltung per Knopfdruck ermöglicht.


Eine andere Form der Immersion wird auch im Spielfilm verwendet, da man hier auf den Bildschirm und dessen Abspielmöglichkeiten beschränkt ist. Ein Beispiel wäre hierfür der deutsche Film „Victoria“, welcher an einem Abend in genau einem Shot (ohne Schnitt) gedreht und die Dialoge nur grob geskriptet wurden. Der Kameramann folgt beim Dreh den Schauspielern auf Schritt und Tritt und gibt somit dem Zuschauer das Gefühl die Perspektive der Kamera einzunehmen und dadurch Teil des Films zu sein. Durch diese immersive Storytelling-Methode nimmt man die Charaktere intensiver wahr und erlebt beim Anschauen diese Nacht selbst mit. Hier ist der Link zum Filmtrailer. Wenn man den Film aber noch schauen möchte, schaut man sich den Trailer lieber nicht an, da er die eigentliche Besonderheit des Filmerlebnisses negativ prägen kann.

Bei der wohl gängigsten Form von immersive Storytelling, nämlich der Anwendung in VR, wurde oftmals nur das Visuelle gezeigt, d.h. nur den Sehsinn beeinflusst. Um aber eine richtiges immersives Erlebnis zu erschaffen, benötigt es auch die drei Dimensionen für den Hörsinn. Dieses Hörerlebnis kann für VR am besten über Kopfhörer übertragen werden. Dabei ist aber zu unterscheiden, dass eine normale 

Audioproduktion in Stereo, welche man ebenfalls über Kopfhörer abhören kann, nicht genügt, um einen dreidimensionalen Raum auditiv erfahrbar zu machen. In der Abbildung ist dieser Unterschied visuell dargestellt. Für immersive Audio muss man die Klangquellen innerhalb einer Art Sphäre um den Körper des Hörers positionieren. Diese immersive Audioübertragungsform nennt man Binaural Audio.

Damit man eine bessere Lokalisation und somit ein realeres Abbild des Raumes schaffen kann, muss man selbst beim Verändern der Hörposition, wie zum Beispiel ein Kopfdrehen, das richtige Verhältnis zum Raum beibehalten. Das gelingt durch dynamisches Binaural Audio.

Hier ist ein Demovideo, um einen Höreindruck für 3D Audio in Dynamic Binaural zu bekommen.

Wie genau das technisch funktioniert, würde den Rahmen dieses Blogeintrags sprengen und wird deshalb ausgelassen.

Zusammengefasst kann man sagen, dass immersive Storytelling viele neue Möglichkeiten bietet Informationen anhaltend im Gehirn der Rezipienten zu speichern und verankern. Zudem schafft es eine neue Art von Erlebnis, welche durch die stetige Entwicklung neuer Techniken und Verbesserungen im Bereich des Visuellen, Auditiven und der Touch Sensorik immer realitätsnaher.

Zum Schluss noch zwei weitere Beispiele für immersive Storytelling:

Immersive Art Experience

360° Great Hammerhead Shark Encounter | National Geographic


QUELLEN

https://www.textbroker.de/storytelling
https://suxeedo.de/magazine/content/storytelling-methode/
http://www.theindustryworkshops.com/82
https://www.forbes.com/sites/propointgraphics/2017/08/05/storytelling-the-key-to-immersive-experiences/
http://mediashift.org/2018/01/5-tools-tips-for-creating-immersive-storytelling/
https://www.scoop.it/topic/public-relations-insight/?&tag=immersive+storytelling
https://immersiveaudioalbum.com