Klänge zeichnen, Bilder in Songs verstecken

Ein kleiner Einblick in die Software Metasynth

Ich habe mir das Programm Metasynth etwas genau angeschaut und möchte hier einen kleinen Einblick in meine Recherche geben:
Der Hauptbeweggrund für diese Recherche ist mein Interesse an der Beziehung zwischen visueller und auditiver Gestaltung. Nachdem ich schon seit meiner Kindheit zeichne und musikalisch tätig bin, hat mich die in Metasynth implementierte Möglichkeit Klängen zu malen sehr neugierig gemacht. Erst war ich etwas skeptisch, da einem beim Aufrufen der Website ein eher altomodisches Erscheinungsbild begrüßt, worauf ich mir die Frage stellte, ob das Programm wirklich soviel kann wie in Rezensionen betont wird. Von dieser oberflächlichen Annahme verabschiedete ich mich schnell wieder, denn je mehr ich mich dann jedoch mit dem Programm beschäftigte, umso spannender wurde es für mich: Die abwechslungsreichen und für mich intuitiven Bearbeitungsmöglichkeiten wirkten immer vielversprechender, und Verweise darauf, dass Künstler wie Aphex Twin, zum Beispiel in seinem Song » ΔMi⁻¹ = −αΣn=1NDi[n][Σj∈C[i]Fji[n − 1] + Fexti[n⁻¹]]« mit dem Programm arbeiteten, machten mich noch neugieriger.

Anwendungsbeispiel: ΔMi⁻¹ = −αΣn=1NDi[n][Σj∈C[i]Fji[n − 1] + Fexti[n⁻¹]] von Aphex Twin

Ich fragte mich anfangs vor allem auch, ob sich die beiden Sinne »Sehen« und »Hören« in diesem Fall positiv oder negativ beeinflussen. Nur weil man ein schönes Bild malt, heißt es ja nicht, dass einem auch der Klang gefällt, genauso umgekehrt. – Das Programm kann eigentlich noch viel mehr, hier ein Überblick:

Metasynth ist ein Studio für OS X für elektronische Musik und Sounddesign. Es bietet verschiedene Möglichkeiten Klänge zu kreieren und zu verändern, unter anderem mit der Einbindung von Bilddaten. Die neueste Version von Metasynth kostet $249, eine Demoversion gibt es für alle Interessierten. Das einzige, was man in dieser Version nicht kann, ist es die Projekte zu speichern. Zum Downloaden dieser Version muss man Namen, Email und Telefonnummer angeben.

Das Programm gewann zahlreiche Preis wie zum Beispiel den Electronic Musician 2006 Editor’s Choice Award for best sound-design software. Es fand großen Einsatz in der Produktion der Soundeffekte im Film Matrix aus dem Jahr 1999. Außerdem haben Künstler wie Junkie XL, BT, Ian Boddy und Aphex Twin Musikstücke mithilfe des Programmes erschaffen. Aphex Twin hat dabei mit einer im Spektrogramm versteckten Abbildung seines Gesichts für Aufsehen erregt:

Hey, Who’s That Face in My Song?

»Hey, Who’s That Face in My Song?« – vollständiger Artikel hier.

Aufbau und Funktionen

Das Interface des Programms ist in zwei Bereiche eingeteilt, dem Sample Editor für Tonspuren, in dem übliche Bearbeitungen wie dem Schneiden oder Ein- und Ausblenden von Samples vorgenommen werden können, und dem XEditor, in welchem man unterschiedliche Möglichkeiten zur Klangsynthese oder Klangbearbeitung hat. Es gibt folgende Räume: Effect Room, Image Synth, Image Filter Room, Spectrum Synth, Sequencer Room und Montage Room.

Effect Room
Im Effect Room können eigene Samples in das Programm geladen und durch eine Auswahl von unterschiedlichsten Effekten bearbeitet: Flanger, Kompressoren oder Pitch- und Time Effekte.

Image Synth
Der Image Synth erzeugt Töne durch eingebaute Tongeneratoren, die eine Fläche von Pixeln analysieren. Man kann Bilder in den Editor laden, dieses bearbeiten, sowie neue Formen malen. Dementsprechend wie das Bild verändert wird, verändert sich auch der Klang. Auf der Zeichenfläche sind auf der x-Achse die Zeit und auf der y-Achse die Tonhöhen angeordnet. Die Bereiche der beiden Achsen können je nach Bedarf angepasst werden. Die Bearbeitungsmöglichkeiten sind denen von Adobe Photoshop ähnlich, so gibt es zum Beispiel einen Pinsel oder Wischfinger. Weiters kann man Filter auf die Zeichenfläche legen, mithilfe gezielte Klangeigenschaften verändert werden können, zum Beispiel jeweils einen Filter für Amplitude und Panning.

Image Filter Room
Der Image Filter Room funktioniert in seiner Bedienung nach dem gleichen Prinzip wie der Image Synth. Die Zeichenfläche im XEditor wird zu einem Equalizer. Das bedeutet die x-Achse steht für das Frequenzspektrum und die y-Achse für die Amplitude zu einem bestimmten Zeitpunkt im Sample Editor.

Spectrum Synth
Beim Spectrum Synth wird das sich im Sample Editor befindende Soundfile analysiert und im XEditor in Form eines Spektrogrammes wiedergegeben. Das bedeutet, dass in diesem Raum auf der x-Achse die Zeit und auf der y-Achse die Frequenz des Signals angeführt ist. Diese Abbildung kann wie bei den anderen Räumen durch visuelle Gestaltungswerkzeuge bearbeitet werden.

Sequencer Room
So wie bei üblichen Sequenzern aus der Musikproduktion kann man Im Sequencer Room musikalische Phrasen und rhythmischen Loops erzeugen.

Montage Room
Der Montage Room gleicht einer DAW mit 24 Spuren, die in den anderen Räumen erstellten Klänge können zusammengefügt, abgemischt mit bereits existierenden oder neu aufgenommen Audiodateien kombiniert werden.

  • Eine noch detailliertere Beschreibung und Anwendungsbeispiele der Räume finden sich hier.
  • Metasynth Roomtour

Fazit

Die Frage, ob sich der visuelle und auditive Sinnesorgane positiv oder negativ beeinflussen, hat sich für mich nach meiner Recherche als irrelevant entpuppt. Ich denke bei Metasynth geht es viel mehr darum, diese Sinne miteinander zu verknüpfen, um eine spannende Klangkomposition zu erstellen und sie je nach Workflow und Stimmung zu wechseln. Mit den visuellen Gestaltungswerkzeugen können dabei auf spielerisch kreative Weise neue spannende Klänge erzeugt werden, die auditiven konventionellen Tools helfen zur Orientierung und Strukturierung des Klanges.

Verwandte Programme:
Pixelsynth von Olivia Jack
Virtual ANS

Weiteres Anwendungsbeispiel: Kunst von Thomas Poersch

Quellen:
http://uisoftware.com/MetaSynth/
https://music.tutsplus.com/tutorials/an-introduction-to-metasynth–audio-2425
https://en.wikipedia.org/wiki/MetaSynth

Das readymade in der Musik

Der Artikel Reanimating the Readymade von Peter Bussigel, Stephen Moore und Scott Smallwood stellt sechs Beispiele aus der experimentellen Musik vor, die der Idee des readymade, einem gefundenen Gegenstand, der zum Kunstwerk deklariert wird, entsprechen. Die Kunstprojekte verbindet, dass das klangliche Potenzial von alltäglichen Gegenständen zur Geltung gebracht wird, so werden sie zu Musikinstrumenten umfunktionieren oder technisch und/oder poetisch zum Leben erweckt. Drei dieser Beispiele stammen aus der Vergangenheit und drei davon sind zeitgenössisch. Bei den historischen Werken handelt es sich um John Cage’s Water Walk, Carola Schneeman’s Noise Bodies und David Tudor’s Rainforest. Die gegenwärtigen Projekte Losperus,TRaNsMOGRiFiER und Chorus for Untrained Operator wurden von den drei Autoren des Artikels mit erschaffen.

Ich finde der Artikel ist eine schöne Einführung in das Thema für Menschen, die sich wenig damit befasst haben und erweitert den Horizont für Menschen, die sich schon etwas besser auskennen, weil die Vielfalt an Beispielen des aufgegriffenen Konzepts des readymade in der experimentellen Musik einen guten Überblick bietet. Allerdings fehlen vielleicht für Menschen, die schon sehr mit dem Thema vertraut sind, eine noch konkretere Beschreibung der Projektumsetzung, weil sie vielleicht schon alle Beispiele kennen, und nach Inspiration für die Implementierung ihrer eigenen Projekte suchen.


Außerdem finde ich es immer sehr spannend, wenn konkrete Assoziationen zwischen darstellender Kunst und Musik hergestellt werden, weil sie helfen die Konzepte der einzelnen Projekte besser zu verstehen, wenn sie im Vergleich präsentiert werden. So setzt sich der vierte Punkt READYMADE RELATIONSHIPS nur mit dem gegenüberstellen der zeitgenössischen Projekte und beschreibt ihre Gemeinsamkeiten und Unterschiede.


Textlich ist der Artikel zwar gut geschrieben, ein breites Vokabular in wissenschaftlichem Schreibstil. Allerdings war es für mich persönlich etwas anstrengend, weil so viele Sätze im Passiv verfasst waren und ich doch sehr viele Wörter nachschlagen musste.

Alles in allem ist dies ein empfehlenswerter Artikel für all jene, die sich mit experimenteller Kunst, Musik auseinandersetzten wollen oder die viel Spaß am Tüftelt haben. 

Quelle: https://www.nime.org/proceedings/2019/nime2019_paper027.pdf

NIME 2019 – Where Is The Quiet?

The International Conference on New Interfaces
for Musical Expression

NIME ist eine internationale Konferenz, bei welcher jedes Jahr (seit 2001) die neuen musikalischen Interfaces vorgestellt und präsentiert werden.  Der Schwerpunkt bei dieser Konferenz liegt auf der wissenschaftlichen Forschung von Interface Design, Human-Interaction mit Computern und Computermusik. NIME hat jährlich Klanginstallationen, Konzerte, Workshops und Redner aus der ganzen Welt. Hier ist ein Preview Video dieser Veranstaltung, um eine genauere Vorstellung darüber zu erhalten was bei einer NIME Konferenz gezeigt wird:

Die letzte Konferenz fand 2019 in der brasilianischen Stadt Porto Alegre statt, bei dieser auch das folgende Interface vorgeführt wurde.

Where Is The Quiet?

„Where Is The Quiet? “ (WITQ)  ist eine immersive Installation von McLean J. Macionis und Ajay Kapur (California Institute of the Arts), welche mit Hilfe verschiedener Medien einen entspannenden Zustand und zugleich eine Verbindung zur Natur für den Teilnehmer bieten.  Die Ausgangssituation hierbei ist eine Videoprojektion mit Musikkomposition, welche über 4 Deckenlautsprecher auf die Sitzposition der Teilnehmer ausgerichtet ist. Das untere Bild zeigt die Installation in der WaveCave Galerie in Kalifornien (2018).

Den dazugehörigen 15-minütigen Film, welcher bei der Installation inklusive Sound in einer Schleife durch lief, kann man hier ansehen:

Bei dieser Installation kann man entweder als Zuschauer anwesend sein und die Atmosphäre erleben oder man trägt als aktiver Teilnehmer zu der Installation bei, in dem man ein „Brain-computed Interface“ (BCI) an den Kopf anlegt. Dieses BCI nimmt die Stärke der Alphawellen im Gehirn wahr, welche Aussagen über den Entspannungszustand der Person machen. 

Diese Informationen werden dann, wie man in der Grafik sehen kann, an das Machine Learning Programm „Wekinator“ weiter gegeben, welches diese Informationen in OSC Daten umwandelt und diese an den Arduino weiter gibt. Dieser ist in dem Magnetspuleninstrument eingebaut, welches im nächsten Bild zusehen ist.

Der Arduino triggert das mechanische System und schlägt die Klangschale an. Dies passiert als Zeichen für die Teilnehmer, sobald ein Stadium der Entspannung bei ihnen eingetreten ist. Manche Teilnehmer fanden diesen Impuls anregend für eine intensivere Entspannung, während andere sich von dem zusätzlichen Klang gestört und aus der Ruhe gebracht gefühlt haben.

WITQ ist eine Installation, die die Menschen zur Ruhe bringt und ihre eigene Entspannung fördern kann. Durch die aktive Rückmeldung der Klangschale werden sie über ihren aktuellen Ruhezustand informiert, welches durch die Übertragung der Alphadaten ihrer Gehirnströme über Machine Learning in mechanische Reaktionen umgewandelt und somit hörbar gemacht wird. An sich finde ich das Konzept der Ruheförderung mit Hilfe von Machine Learning sehr spannend und dachte beim Lesen des Titels, dass das Machine Learning auch die musikalische Umgebung beeinflusst. Da es eine statische 15-minütige AV Installation ist, welche sich loopt, war eine Interaktion in diesem Bereich wohl nicht vorgesehen. Bei der musikalischen Komposition finde ich es eine interessante Herangehensweise die Grundelemente zu vertonen, was dafür aber meiner Meinung nach zu musikalisch ist. Zudem könnte man die Immersion durch die Erweiterung des Lautsprechersetups meiner Meinung nach vergrößern.

Alles in allem waren die Reaktionen auf die Installation sehr positiv und konnten das Erreichen des Ruhepols der Teilnehmer durch die verwendeten technischen Mittel fördern.

Quellen

https://www.nime.org/
https://www.ufrgs.br/nime2019/
https://www.nime.org/archives/
https://www. wekinator.org/

Ephemeral Instruments

In Bezug auf “Vincent Goudard. 2019. Ephemeral instruments. Proceedings of the International Conference on New Interfaces for Musical Expression, UFRGS, pp. 349–354.

Vincent Goudard schreibt in seinem Artikel über die Vergänglichkeit digitaler Musikinstrumente. Langlebigkeit werde üblicherweise als Qualitätsmerkmal angesehen und bereits im Designprozess berücksichtigt. Goudard stellt in Frage, ob die Vergänglichleit digitaler Musikinstrumente immer als Problem betrachtet werden sollte.

Zuerst einmal muss man feststellen, dass Musik als Klang inhärent vergänglich ist. Klang ist eine schwindende Schwingung, sobald keine Energie mehr zugeführt wird. Musik existiert nur für die Dauer ihrer Aufführung. Um Musik replizierbar zu machen, wurde sie in Form von Noten aufgeschrieben, Musikinstrumente wurden klassischerweise so stabil gebaut, dass viele Exemplare sogar Jahrhunderte überleben und innerhalb der jeweiligen Instrumentengruppen unterscheiden sie sich kaum in ihrer Klangcharakteristik.

Elektronische Instrumente hingegen altern recht schnell und werden durch Verwendung von Hochtechnologie wie Mikroprozessoren häufig eher ersetzt als repariert. Ähnliches gilt für Software: Nachhaltigkeit kann nicht gewährleistet werden, weil die technologischen Entwicklungen so schnell voran schreiten, dass sie wahrscheinlich schon bald nicht mehr mit aktueller Hardware oder Betriebssystemversionen kompatibel sein wird.

Selbst wenn man annimmt, dass eine musikalische Performance durch eine Aufnahme verewigt und reproduzierbar wird, finden sich Gegenargumente. Einerseits finden Neuinterpretationen statt, andererseits verändert sich der Kontext der Wiedergabe. Das beinhaltet diverse Aspekte von der verwendeten Technik und dem akustischen Raum, der die abgespielte Aufnahme beeinflusst, bis zu den gesellschaftlichen Entwicklungen, die die Interpretation des Musikstücks formen.

Letztendlich ist die Musikerin selbst vergänglich und ständiger Veränderung ausgesetzt. Ihr Wissen, ihre Gefühle, Bedürfnisse und musikalischen sowie physischen Fähigkeiten wandeln sich. Ein Instrument, das sich verändert und verändern lässt, hat daher viel Potenzial für Personalisierung, was zu sehr interessanten Performances führen kann. Der Musiker tritt in ein Spannungsfeld zwischen Spiel und Anpassung und ist immer dem Risiko ausgesetzt, dass etwas Unerwartetes passiert. David Zicarelli (Cycling ’74, Max/MSP), sagte dazu einmal: “I would only observe that in most high-profile gigs, failure tends to be far more interesting to the audience than success”.

NIME – Adaptive Multimodal Music Learning via Interactive-haptic Instrument

Yian Zhang       Yinmiao Li        Daniel Chin      Gus G. Xia

Music X Lab

New York University, Shanghai

ABSTRACT

Haptic interfaces have untapped the sense of touch to assist multimodal music learning. We have recently seen various improvements of interface design on tactile feedback and force guidance aiming to make instrument learning more effective. However, most interfaces are still quite static; they cannot yet sense the learning progress and adjust the tutoring strategy accordingly. To solve this problem, we contribute an adaptive haptic interface based on the latest design of haptic flute. We first adopted a clutch mechanism to enable the interface to turn on and off the haptic control flexibly in real time. The interactive tutor is then able to follow human performances and apply the “teacher force” only when the software instructs so. Finally, we incorporated the adaptive interface with a step-by-step dynamic learning strategy. Experimental results showed that dynamic learning dramatically outperforms static learning, which boosts the learning rate by and shrinks the forgetting chance by 86%.

I chose this paper, because I am music teacher. Further was my bachelor thesis about the learning of the Diatonic Accordion in Digital Age. I noticed that learning an instrument independently is really an advantage, also to be flexible in time, but there was no checking, if the musician is playing correctly. I do not mean the right score, but rather the right attitude while playing the instrument and the correct technique. I criticized in my thesis that learning an instrument only via Video without any checking tool, for example an interactive-haptic instrument, is not the best way of learning an instrument. Traditional Learning would be in this case always better, because of getting feedback and hints for a better performance.

Now with the invention of this interactive-haptic instrument we come closer to our image of distance learning with good quality. For sure, this is not the end of the invention. In best case it will develop to a smarter and multifunctional concept, useable for more instruments. Critique: This haptic flute is an extra built instrument with all its features, but there are also people, who buy a flute, and did not think about the learning method before. Or people, who change from Traditional Learning to Haptic Guided or Adaptive Learning. In most situations they will not buy another instrument, so the solution would be a wearable interface or an interactive-haptic interface to readjust on the traditional instrument, for example on the flute. I think to buy generally interactive-haptic instruments is for our society just now not the first choice. Maybe because the image of a specific instrument gets destroyed or the image changes to a new instrument. It is often a reason to learn an instrument because someone likes the form or the characteristic looking of it. Underneath the interactive-haptic flute can be compared with a traditional flute. It is very clear, there are two different instruments. The common flute looks much more beautiful and attractive. I think that for musicians the looking of an instrument is very important and a part of their personality, it would be very difficult to change this specific image of an instrument, which exists since 1000 or several hundreds of years.

Figure 1 Thomann.de
Figure 2 The overall design of flute device.

Beside above aspects the interactive-haptic instrument is still an invention in a positive trend concerning Haptic Guided Learning. This new system of Adaptive Learning allows more freedom as a Fully Haptic Guided Learning. The effectiveness of dynamic learning boosts the learning rate by 45.3% and shrinks the forgetting chance by 86%.

In summary this interactive-haptic instrument is a good invention for distance learning or people, who do not have the opportunity to learn in a traditional way. Furthermore it is another step in developing smarter and multifunctional concepts of haptic interfaces.
To get used to the looking of this new invention it will need some time and rethinking, people have to differ between a learning tool instrument and a traditional instrument, they have to accept that this is not the same and it must not be the same, as long as there exists no wearable or an interface to readjust.

Narrativ

Der Begriff “Narrativ” bedeutet erzählend, in erzählender Form darstellend, und wird häufig mit dem Ausdruck „Storytelling“ gleichgesetzt. Um die Unterscheidung dieser beiden Begrifflichkeiten zu verstehen, werde ich „Narrativ“ genauer definieren.

Das Wort „Narrativ“ kommt aus dem Spätlateinischen narrativus, zu lateinisch narrare = erzählen. Ein Narrativ ist eine Erzählform, die zur Vermittlung von Informationen genutzt wird. Es muss sich hierbei jedoch nicht zwingend um eine romanartige Narration handeln. Wichtig ist vor allem, dass ein roter Faden ersichtlich ist und das erzählende Thema durch eine kausale Verkettung von Zuständen geführt wird. Der Mensch nutzt Narrative, um sich Ansichten, Einstellungen, Werte, Zusammenhänge zu definieren und hilft das Bewusstsein zu steuern. So schreibt Thomas Feuerstein in seinem Artikel „Narrative der Kunst“ über die unterschiedlichen Anwendungen der Bedeutung von „Narrativ“:

„Das Ich-Narrativ ist die Voraussetzung unserer Identität, orientiert und stabilisiert uns, reduziert Komplexität und hilft alltägliche Kontingenz zu bewältigen.“

Grundprinzip von Narrativ:

  • Besteht aus mehreren Gliedern/Elemente
  • Kausalkette (Anfang à Mitte à Ende)
  • Bezugsorientiert (A à B à C, d.h. A führt zu B hin, welches zu C hinleitet)
  • Kann auch abstrakt sein, muss keiner klassischen Figur folgen
  • KEIN NARRATIV: eine „Nicht-Reduzierbarkeit“, 1 Element ist kein Narrativ

Das Narrativ wurde 1979 in Werk dem Werk „Das postmoderne Wissen“ des französische Philosoph Jean-François Lyotard zum ersten Mal verwendet. Hierbei sagt Lyotard, dass ein Narrativ eine Ordnung in vergangen Geschehnisse oder Zukunftsideen bringen kann, wodurch eine sinnstiftende vereinfachte Erzählung entsteht. Somit kann das Narrativ für jegliche Art von Struktur und Ordnungssystem verwendet werden. Beispiele finden sich hier auch in der Politik, zum Beispiel wurde nach der Unabhängigkeit Irlands die neue politische Identität in Form eines Narrativs, des keltischen, reinen und katholischen Volkes, ausgeführt. Jedoch muss man sich bei der Verwendung des Begriffs in der Politik über die Doppelsinnigkeit bewusst sein. Hierzu schreibt beispielsweise Matthias Heine in seinem Artikel in der Welt:

„Einerseits kann ein Narrativ etwas sein, ohne das politische Formationen nicht zusammenhalten, andererseits kann es auch einen Verblendungszusammenhang schaffen, der den Blick auf die Realität trübt.“

Bei einer Verwendung dieses Ausdrucks im künstlerischen Bereich muss man sich somit dessen Bedeutung und Herkunft bewusst sein.  

„Konzeptuelle Narrationen verbinden eigene und fremde, faktische und fiktionale Geschichten und fungieren als Methode, Inhalte und Formen in Werken und Prozessen zum Sprechen zu bringen.“ – Thomas Feuerstein

Quellen

https://www.duden.de/rechtschreibung/narrativ
http://www.tom-amarque.de/blog/2015/12/8/was-ist-ein-narrativ
https://frauenseiten.bremen.de/blog/was-ist-eigentlich-das-narrativ/
https://www.welt.de/debatte/kommentare/article159450529/Hinz-und-Kunz-schwafeln-heutzutage-vom-Narrativ.html
http://www.myzel.net/Narration/feuerstein.html

Binaural Audio

Das Wort binaural steht für „zweiohrig“ und ist ein Audiosignal bestehend aus zwei Kanälen, je ein Kanal pro Ohr, was jedoch nicht gleich zu setzen ist mit dem Begriff „Stereo“. Anders als bei Stereosignalen, werden bei der binauralen Aufnahme noch räumliche und kopfbezogene Aspekte beachtet, die durch Metadaten in die Audiospur mit abgespeichert werden. Das räumliche Hören erlaubt es komplexe Räume durch Schallortung zu analysieren und sich dadurch zu orientieren. Wichtige Parameter wären hierfür zum Beispiel die interaurale Zeit- und Intensitätsdifferenz und die daraus resultierenden Änderungen im Frequenzgang, um eine räumliche Lokalisation über das menschliche Gehör wahrzunehmen. Diese Änderungen im Frequenzspektrum können durch eine Übertragungsfunktion beschrieben werden, welche auch Außenohr-Übertragungsfunktion oder Head-Related Transfer Function (HRTF) genannt wird.

Räumliche Hörwahrnehmung

Die räumliche Wahrnehmung ist geprägt durch verschiedene Faktoren. Um eine Schallquelle richtig zu lokalisieren, werden die interauralen Unterschiede vom rechten zum linken Ohr in der horizontalen Ebene und zusätzlich mit den Reflexionen des Körpers, Kopfs und in der Ohrmuschel klanglich wahrgenommen. Mit den interauralen Unterschieden sind zum einen die interaurale Laufzeitdifferenz ITD (engl.: interaural time difference) und zum anderen die interaurale Pegeldifferenz ILD oder auch IID (engl.: interaural level difference, interaural intensity difference) gemeint.

Head Related Transfer Function (HRTF)

Bei der speziellen Übertragungsfunktion der HRTF werden diese kopfbezogenen Informationen für das rechte und linke Ohr einzeln an jeder Position berechnet. HRTFs werden ohne den Einfluss von Rauminformationen aufgenommen, also in schalltoten bzw. reflexionsarmen Räumen, damit das Ergebnis nicht verfälscht wird. Hierbei werden die akustischen Verfärbungen des Außenohrs, also der Ohrmuschel (Pinna), für den gesamten Frequenzbereich gemessen. Wie es in der unteren Abbildung dargestellt ist, ist der Unterschied vor allem in den höheren Frequenzen enorm. 

Da die Pinna bei jedem Menschen anders geformt ist, sind dementsprechend auch die HRTFs verschieden. Es besteht aber die Möglichkeit sein eigenes individuelles HRTF zu erstellen, um es dann selbst zur Faltung für 3D Audio zu nutzen.  

Binaural Audio ist also die Wiedergabe räumlicher Klanginformationen über Kopfhörer an zwei Ohren, welche die physischen Färbungen des Klangs durch den eigenen Körper mit einbeziehen.  

Quellen

Kapitel: “Binaural Audio Through Headphones”, Agnieszka Roginska (Buch: Immersive Sound, S. 88ff, 2018)

Buch: “Binaural and Spatial Hearing in Real and Virtual Environments”, Robert Gilkey und Timothy R. Anderson (2014)

Buch: “Handbuch der Audiotechnik”, Weinzierl, Stefan (2008)

Pflanzen machen Musik

Pflanzen machen Musik – das klingt nach dem ersten Hören vielleicht etwas seltsam und die Meisten werden sich darunter nicht wirklich viel mehr als das Rauschen der Bäume vorstellen können. Jedoch besteht die Möglichkeit mehr musikalische Elemente aus einer Pflanze zu gewinnen, besser gesagt aus Informationen, die die Pflanze liefert, musikalische Elemente steuern lassen – wie eine Art Komponist, bzw. Dirigent. Diverse Künstler und Entwickler haben sich bereits mit den inneren Prozessen von Pflanzen befasst und mit Hilfe von Sensoren ihre biorhythmischen Ströme abgegriffen und in musikalische Elemente übersetzt. Dies ist Teil des Prozesses von Sonifikation. Sonifikation bedeutet das Hörbarmachen von Daten und dessen Informationsgut. Sonifikationsmethoden werden seit 1992 erforscht, da die Vielzahl an Daten neue Darstellungsformen erfordert.   

Eine solche Künstlerin, die sich auch als Sonic Artist identifiziert, ist Mileece Petre.

Über sie wurde 2014 ein Videobericht von Motherboard erstellt, in welchem sie ihre Arbeit mit Pflanzen erklärt (ab 2:30). Sie nimmt die in MIDI umgewandelten Biodaten der Pflanzen und produziert damit Musik.

Ein weiteres Beispiel dafür bietet die Firma Data Garden, welche das Tool „PlantWave“ entwickelt haben, welches Musikern die Möglichkeit bietet durch ihre Hardware gemeinsam mit ihren Pflanzen zu musizieren.

Prinzipiell kann man solche Tools mit jeder beliebigen Pflanze verbinden und somit überall die Musik hören. Joe Patitucci, der Gründer der Firma Data Garden, und der Sound Designer Jon Shapiro haben „PlantWave“ beispielsweise an einer Cannabis-Pflanze befestigt und mit ihr Musik produziert. Wiedererwartens war das musikalische Ergebnis der Pflanze nicht Reggae, sondern dynamische Klänge, welche sich immer wieder neue erfinden. Die Idee das Leben von Pflanzen durch Klang zu vermitteln kam Data Garden durch Cleve Backster, der 1970 Lügendetektoren an Pflanzen bindete, um Emotionen oder Feingefühl bei ihnen festzustellen. Data Garden arbeitet bei ihrem Tool „PlantWave“ mit dem Entwickler und Ingenieur Sam Cusumano zusammen. Cusumano entwickelte ein System, das die Schwankungen der internen Leitungen der Oberfläche von Blättern in MIDI Daten umwandelt und mit diesen Informationen Hardware- und Softwaresynthesizer zu steuern.  „ARCADIA“ ist eine interaktive Klanginstallation von Sam Nester, um die sich ständig wandelnde Musik der Pflanzen hörbar zu machen. Hierbei nutzt er ebenfalls die galvanische Leitfähigkeitsmessschaltung von Cusumano.

Im Gegensatz zu den oben genannten Sonic Artists, geht der Künstler Peter Ablinger nicht digital, sondern analog an die Pflanzen heran. Ablinger hört zum Beispiel auf die Klänge, die unterschiedliche Baumarten und Sträucher in Kombination mit Wind erzeugen und kategorisiert sie dadurch. In seiner Forschung „Weiss/ Weisslich 26, Skizzen für ein Arboretum“ beschreibt er durch welche Bäume welche Formanten erzeugt werden und wie man durch gezieltes Positionieren von Bäumen Musik pflanzen kann. Auch in seinen vorangehenden Forschungen in diesem Bereich hat er bereits das Baumalphabet definiert und die unterschiedlichen Klangfärbungen und Formanten der Baumarten etabliert. In einem Kurzbericht über Ablingers Arbeit beschreibt Caroline Torra-Mattenklott seine Herangehensweise und Verknüpfungen, die seiner Forschung vorangehen. Der Wind ermöglicht das Hören der Klangfarbe der Bäume.

Sonifikation von Pflanzen ist somit ein weites Feld zum Experimentieren mit musikalischen Harmonien und fördert den direkten Bezug zu den natürlichen Lebewesen in der Natur.

Quellen

Sonifikation –https://iem.kug.ac.at/forschung/computermusik/sonifikation.html (aufgerufen am 14.01.2020)
Mileece Petre, Sonic Artist – https://planet.mu/artists/Mileece/ (aufgerufen am 06.01.2020)
„PlantWave“ by Data Garden – https://www.midisprout.com (aufgerufen am 12.01.2020)
ARCADIA Sound Installation – https://www.youtube.com/watch?v=sVX97v96LZE (aufgerufen am 12.01.2020)
Peter Ablinger, Skizzen für ein Arboreum – https://ablinger.mur.at/ww26.html (aufgerufen am 12.01.2020)
Caroline Torra-Mattenklott, Vom Baumalphabet zum weissen Rauschen – https://ablinger.mur.at/docs/ww18u26.pdf (aufgerufen am 12.01.2020)



Gaming: Mickey Mousing in Rayman Legends

Der fünfte Teil der Rayman-Hauptreihe Rayman Legends von Ubisoft, erschien im Jahr 2013 und ist für diverse Spielkonsolen verfügbar. Es ist sehr beliebt für seine sogenannten Musiklevels, wofür es unter anderem zahlreiche positive Rezensionen gibt. Die Musiklevels sind Speziallevels, die durch das vollkommene Durchspielen aller Levels einer Welt freigeschalten werden. Das besondere an diesen Levels ist, dass der Spieler im Takt zur Musik seine Knöpfe drücken muss, um ein Musiklevel positiv abzuschließen. Wie beim Tanz oder eben auch beim Micky Mousing müssen die Bewegungen des Charakters auf die Musik abgestimmt werden.

Es gibt insgesamt 12 Musiklevels. Christophe Hérald, der Komponist ließ dabei die unterschiedlichsten Musikstile einfließen. Jeweils zwei Level widmen sich einem musikalischen Thema, die zweite Version ist dabei immer musikalisch, sowie visuell mehr abstrahiert, wodurch man sich mehr auf das Rhythmusgefühl verlassen muss. Es sei sogar möglich das Spiel blind zu spielen. Diese Levels sind ein wundervolles Beispiel für die spielerische intensive Auseinandersetzung mit Musikstücken.

Musik: Interpret – Titel
Castle Rock: Ram Jam – Black Betty
Orchestral Chaos: Christophe Hérald – Orchestral Chaos
Mariachi Madness: Survivor – Eye of the Tiger
Gloo Gloo: The 5.6.78’s – Woo Hoo (aus Kill Bill)
Dragon Slayer: Trust – Antisocial
Grannie World Tour: Christophe Hérald (Rayman Origin Theme Land of the Livid Dead)

Quellen
+ https://medium.com/game-audio-lookout/deconstructing-a-musical-level-in-rayman-legends-985e9f6c2f4c [Stand 16.12.2019]
+ https://www.gamasutra.com/blogs/StanislavCostiuc/20160420/270833/Secrets_Design_in_Rayman_Legends.php [Stand 16.12.2019]
+ https://www.mcgame.com/de/i/rayman-legends-blind-durchs-level/ [Stand 16.12.2019]
+ https://de.wikipedia.org/wiki/Rayman_Legends#Rezeption [Stand 16.12.2019]

Mickey Mousing vs. Underscoring

Man spricht von Underscoring, wenn die Emotionen eines Charakters in der Musik ausgedrückt werden, was heutzutage — im Gegensatz zu früher, wo Regisseure nicht erwarteten, dass Underscore angenommen wird — einen Großteil der Erzählung in der Musik einnimmt. Es wirkt oft besser Gefühle mit musikalischen Elementen auszudrücken, anstatt diese im Film aufwendig in die Dialoge einzuflechten. (Vgl. Beauchamp 2005, S.45)

Underscoring bezieht sich also nicht rein auf die direkte Bewegung in einer Szene so wie Mickey Mousing in seiner reinen Form. Natürlich existieren viele Mischformen.

Quelle: Beauchamp, Designing Sound for Animation. Focal Press, 2005