Audio plugins had been invented to replicate analog signal processors. With enhanced processing power and decreasing prices of modern computer hardware, the digital signal processors became very popular and affordable to the big majority of people interested in music production.
Nowadays the market for audio plugins is vast and a common laptop pc can replace a conventional analog studio for most purposes. Also digital processing opens the door to go beyond the physical boundaries of analog devices.
International Conference on Creative Media Technologies (IConCMT)
Am Mittwoch den 27. November
2019 haben wir an dem All Around Audio Symposium an der FH St. Pölten UAS
teilgenommen, welches im Rahmen der International Conference on Creative Media
Technologies (IConCMT) stattfand. Zu diesem Symposium kamen internationale
Redner aus dem Bereich digitaler Medientechnologien, um über aktuelle
Forschungen und Projekte zu referieren und diskutieren. Ebenso wurden
Audiodemos und Installationen im Rahmen dieser Veranstaltung aufgebaut und zum
Haut nah erleben der Ergebnisse zur Verfügung gestellt.
Einer der Referenten war
Fabio Kaiser, der für seine Firma Rohde Acoustics einen Vortrag über aktive
Akustikinstallationen und dessen Anwendung in Musik und Kunst gehalten hat und
hierbei das „Amadeus Active Acoustics“ – System vorstellte.
„What can Active Acoustics do?
Applications for Speech, Music and Art”
Um die folgenden Inhalte zu
verstehen, muss man zunächst den Ausdruck “Active Acoustics” verstehen. In der
Welt der Raumakustik wird jeher versucht große Räume trockener zu machen,
sodass die Hallzeit verringert und die Verständlichkeit dadurch verbessert
wird. Das Konzept von „Active Acoustics“ nutzt die Rauminformationen, um die
Hallzeit in beide Richtungen manipulieren zu können, das heißt sowohl den Raum
akustisch größer gestalten, sodass er beispielsweise einem Kirchenklang ähnelt,
oder die Hallzeit verringern, womit aus der Kirche wieder ein kleinerer Saal
wird. Dies wird interessant, wenn man einen Saal für unterschiedliche akustische
Veranstaltungen nutzen möchte. Beispielsweise sollen in der Andermatt Concert
Hall (Schweiz) die Berliner Philharmoniker spielen, ebenso Seminare und
Konferenzen stattfinden, kleinere Kammerorchesterformationen und normale Rock-
und Popkonzerte.
So vielen verschiedenen
Anforderungen gerecht zu werden, ist für einen Raum mit 650 Plätzen, ist eine
akustische Herausforderung. Für eine Bass-geprägten Rockmusik wäre ein stark
halliger Raum mit großer Nachhallzeit einem Desaster nahe, während eine Geige
ihren Klang in einer trockenen Raumakustik nicht vollends entfalten kann.
Für dieses und anderer Raumherausforderungen
wendet Rohde Acoustics das Active Acoustics System von AMADEUS an.
Dieses System nutzt eine
Vielzahl an Lautsprechern und Mikrofonen, die im ganzen Raum verteilt werden.
Dadurch kreiert AMADEUS in Echtzeit ein zeit- und positionsgenaues
3D-Reflexionsmuster. Zudem ermöglicht dieses System eine kostengünstige Lösung
zur Mehrzwecknutzung eines Saals.
Ähnlich zum Amadeus System, hat Meyer Sound das Constellation entwickelt, welches man beispielsweise in Ingelheim im kING erleben kann. Das Constellation System optimiet durch ihre Anpassung der Raumakustik die Kommunikation der Musiker untereinander und fördert somit ein besseres Zusammenspiel. Meyer Sound nutzt hierfür ebenso eine Vielzahl an Mikrofonen und Lautsprecher, die im Raum und in den Wänden installiert sind, und zudem ein Signalverarbeitungssystem über D-Mitri. Da im persönlichen Gespräch mit Kaiser keine signifikanten Unterschiede dieser beiden Systeme festzustellen war, würde diese technische Recherche den Rahmen dieses Blogeintrags sprengen und wird deshalb nur in den Quellen vermerkt.
Ein weiteres Projekt, das
Kaiser in seinem Vortrag zum Besten gab, war das James Bond Gebäude „Elements“
in Sölden. Hierbei wird ihr 3D Audio-System AMADEUS für die Raum und Elektroakustik
angewendet und damit 3D Audio Soundscapes und immersive Klangerlebnisse
produziert. Die Beschreibung für das neuartige Kinoerlebnis auf ihrer Website
ist wie folgt:
„007
ELEMENTS begleitet den Besucher auf einer Reise durch eine Reihe von
interaktiven Hightech Galerien, die sich um das Markenzeichen und alle
klassischen Elemente eines James Bond Films drehen – wunderbare Titelsequenzen
und dramatische Klangkulissen, atemberaubende Actionszenen ebenso wie Autos und
technische Spielereien, einzigartige Drehorte, kultige Studio Sets und
natürlich eine große Anzahl an überzeugenden Charakteren.“
Zusammengefasst war dieser
Vortrag über die Digitalisierung der Raumakustik eines der spannendsten
Vorträge an diesem Tag. Der Besuch dieser Veranstaltung an der FH St. Pölten
war sehr interessant, solche Exkursionen sollten weiter gefördert werden, da es
den aktuellen digitalen Forschungen zeigt und einen direkten Kontakt zur
Industrie herstellt.
Spricht man von
Soundscape-Komposition, so kann das Klangmaterial auf
verschiedene Weise
zustande
kommen. Was alle Formen der Soundscape-Komposition gemein haben, ist
ihre enge Verbindung zur technologischen Entwicklung. Einer der
entscheidendsten Entwicklungsschritte jüngerer Vergangenheit, der
unseren Umgang mit kulturell-künstlerischen Technologien bis heute
prägt, ist die Erfindung der mechanischen und elektronischen
Reproduktion von Kulturgütern und Kunstwerken. Im Kontext der
Klanggestaltung meint das die Möglichkeit der Speicherung und
Weiterverarbeitung des flüchtigen Klangeindrucks. Heute meint
Medientechnologie nicht mehr nur einzelne Geräte, sondern bildet
ein komplettes, umfassendes Gerüst aus Vermittlungen zwischen
Menschen untereinander und Menschen und Maschinen. Kunst entsteht in
diesem Kontext durch den kritisch-kreativen Umgang mit diesen
Technologien.
Am 28. November 2019 fand
die Verleihung der EY-Awards im Audimax an der FH Joanneum in Graz statt. Der
European Youth Award ist ein Wettbewerb, der eine Initiative zur Förderung
neuer digitaler Entwicklungen von jungen Menschen (bis 33 Jahre), Start-ups und
Sozialunternehmen ist. Die EY-Awards bieten eine Plattform für den Austausch
innovativer Ideen und die Motivation für deren Umsetzung. Dieses Event
kombiniert Inspiration, Motivation, Innovation, internationales Networking und
Wissen und fördert somit moderne technische Lösungen.
Eines der Projekte war „Eye
Build it“, welches der deutsche Masterstudent Adrian Wegener im Rahmen der
diesjährigen EY-Awards präsentierte. Dieses Projekt gewann in der Kategorie
„Connecting Cultures“ und wurde deshalb an der Verleihung präsentiert.
„Eye
Build it“
„Eye Build it“ ist ein Augen getracktes 3D Programm,
welches es Menschen mit physischer Einschränkung, wie zum Beispiel
Querschnittslähmung, ermöglicht nur anhand ihrer Augenbewegungen Modelle zu
zeichnen und zu kreieren.
Diese Anwendung kombiniert die technischen
Umsetzungsmethoden wie UX-Design, 3D-Printing und Eye-Tracking mit einem
sozialen Nutzen zur Förderung von Inklusion und Therapie. Dadurch wird es dem
Nutzer ermöglicht nur anhand der Bewegung der Augen etwas physisch zu kreieren,
was derzeit noch einzigartig ist. Das Bild zeigt eines der visuellen Ergebnisse,
die mit dem „Eye Build it-Creator“ gebaut wurde und nun Teil einer virtuellen
Welt im Online Kommunikationsmodus genutzt werden kann oder mit Hilfe eines 3D
Druckers physisch erfahrbar gemacht werden. Zudem ist diese Art des
augengesteuerten Bauens durch das Programm leichter zu lernen, da man seine
Objekte durch virtuelle Blocks zusammensetzt. Generell ist das Zeichnen mit den
Augen nämlich eher schwierig, da es einen hohen Grad an Konzentration erfordert
seine Augen länger auf etwas zu fokussieren.
Das künstlerische Zeichnen mit Augen zur Erweiterung der
kognitiven Kreativität von Künstler wurde bereits 2015 entwickelt und
umgesetzt. Ein Beispiel hierfür bietet der Künstler Graham Fink, dessen Werk in
diesem Bild dargestellt ist. Ein solches Portrait entsteht innerhalb weniger
Minuten und kann Live von den Besuchern der Londoner Galerie Riflemaker
miterlebt werden. Hierbei wird der künstlerische Geist mit den neusten Eye
Tracking Innovationen von Tobii verbunden und durch das Konzentrationvermögen
des Künstlers selbst umsetzbar gemacht.
Im „Eye Build it – Creator“ ist es möglich dieses
schwierige Konstruieren für die Massen möglich zu Machen und bietet zudem eine
eigene Cyber-Space Plattform, in welcher sich die Creator über ihre Kunstwerke
austauschen können. Hierbei findet auch eine Verbindung zwischen körperlich
nicht eingeschränkten und eingeschränkten Menschen statt und verkleinert
dadurch die Barriere zwischen ihnen. Zudem ist das Teilnehmen nicht teuer, da
man einen Stick mit der Vollversion des Programms schon für 150€ erhält.
Zusammengefasst lässt sich sagen, dass die European Youth Awards einen besonderen Rahmen bieten für interkulturellen Austausch über neuste technische Entwicklungen der Digitalisierung, welche einen Nutzen für unsere Gesellschaft und dessen Weiterentwicklung bietet. Falls mir selbst eine kreative Idee innerhalb des nächstes Jahres kommt, welches sich in das Programm der EY-Awards einbinden ließe, würde ich ebenfalls im nächsten Jahr daran teilnehmen.
Musik verleitet zum Träumen. Sie regt die Phantasie an, bringt den Rezipienten an weit entfernte Orte oder erinnert an Situationen und Gefühle des alltäglichen Lebens.
Bei Recordings zur Verwendung in elektronischen Musik wird normalerweise versucht, Umgebungsgeräusche auszublenden. Musiker werden in akkustisch optimierten Studios aufgenommen, um die maximale Kontrolle über das Klangbild zu erhalten. Elektronische Produktionen klingen deshalb oft sehr steril und synthetisch. Das kann durchaus erwünscht sein, lässt aber auch manchmal organische Elemente vermissen, die die Musik interessanter machen würden.
Am 27.11.2019 nahmen wir Sounddesigner am oben genannten internationalen Symposium teil. Mehrere Vorträge erweiterten unser Wissen über diverse audio-verwandte Themen.
Näher beschreiben möchte ich den Vortrag von Herrn Michael Crombach (Nuance Communications Austria, Wien). Der Titel lautete “Maintain Your Data, Stupid”. Herr Crombach gab Einblick in “collecting data”, das Sammeln, Analysieren, Sortieren von Daten. Speziell nahm er auf seine Arbeitsstelle Bezug, welche Diktiergeräte bzw. Software für Ärzte entwickelt, welche die Diagnose bzw. Anamnese von deren Patienten über ein Diktiergerät einsprechen und dann automatisch verschriftlichen wollen. Die Entwicklung solcher Software basiert größtenteils auf Datensammlung und deren Auswertung. Im Fall von Herrn Crombachs Arbeitgeber, wird die Software von über 100.000 aktiven Nutzern verwendet; die dabei gesammelten Daten werden gereinigt und ausgewertet; wenn Wörter falsch betont werden oder im Dialekt gesprochen werden kann dies zu Problemen bei der Verschriftlichung des Gesprochenen führen, dies muss gesondert überarbeitet werden. Des Weiteren sollten so manche Kraftausdrücke (f* Words) im schriftlichen Dokument weggelassen werden. Durch die immense Datenmenge wird an einem Tag ca. 1 Jahr Diktiertes erstellt bzw. aufgezeichnet und zur Analyse herangezogen.
„Eintauchen in eine andere Welt – Teil einer Geschichte werden“ – das ist das Ziel und die Intension, die man mit immersive Storytelling verfolgt. Diese Methode wird in unterschiedlichen Bereichen angewendet, um Informationen auf anschauliche Weise mit den Menschen zu kommunizieren. Indem man den zu vermittelten Inhalt in eine Geschichte packt, kann das Gehirn diese Informationen leichter aufnehmen, da es Bilder erzeugt und diese mit realen Erlebnissen und Emotionen verknüpft, wodurch wir das Gefühl bekommen das Gelesene oder Gesehen tatsächlich zu erleben.
Anwendungsgebiete wäre
hierbei zum Beispiel
Künstler
Kinder-/
Erwachsenenbildung
Journalismus
Werbebranche
PR
und Marketing
Pädagogen/
Psychotherapeuten
Der Begriff Immersion bedeutet das Hineintauchen in eine Umgebung, sodass der Nutzer das Gefühl hat die virtuell erzeugt Umgebung entspricht der realen Erfahrbarkeit. Durch die immersive Erfahrbarkeit werden neue Möglichkeiten für andere Realitäten geboten. Da der Mensch am Meisten von Dingen emotional bewegt wird, die ihn selbst betreffen, bekommt man mit immersive Storytelling die Möglichkeit ihn in die Geschichte zu integrieren und bei Entscheidungen mitzuwirken, was den Zuschauer dann vom passiven Beobachter zum aktiven Teilnehmer des Erlebnisses macht.
Storytelling
kann man auf Deutsch als „Geschichten erzählen“ übersetzen und beschreibt die
Vermittlung von Informationen durch Geschichten. Hierbei werden komplexe
Inhalte für den Rezipienten einfach veranschaulicht, sodass das Interesse
aufrecht gehalten wird und sich somit die Informationen im Gehirn des Nutzers
leichter verankern. Das Grundprinzip des Storytellings fokussiert sich somit
darauf, Informationen zu vereinfachen, das Wichtigste ansprechend darzustellen
und dem Nutzer somit den Inhalt kognitiv unkomplizierter zu verstehen zu geben.
Eine gute Geschichte besteht immer aus einer Art Heldenfigur, den
Protagonisten, ein Ereignis oder ein Problem, auf das unser Held trifft und den
Weg zur Erkenntnis, der Lösung oder das Eingestehen des Scheiterns. All diese
Merkmale bieten den Grundbaustein für ein gutes Storytelling, das den Nutzer
berührt.
Diese Methode folgt einem systematischen Verfahren, welches dramaturgisch einen
Spannungsbogen über die gesamte Geschichte spannt und somit die Struktur für
die zu vermittelnden Inhalte bietet, die einprägend für den Nutzer sein sollen.
Diese Grafik zeigt ein Beispiel für einen Spannungsverlauf einer Geschichte.
Um eine Geschichte möglichst
immersiv zu gestalten, werden heutzutage aktuelle digitale Multimediatechniken
verwendet, um eine sogenannte „digital Experience“ zu gestalten. Hierbei ist
man vor technischen Herausforderungen gestellt, da es schwierig ist alle
Sinneskomponente zu vereinen, um eine neue realwirkende Welt zu schaffen. Wenn
man auf Google Bilder nach „Immersive Storytelling“ sucht, bekommt man
hauptsächlich Ergebnisse wie VR und AR Experiences und visuelle Spielwelten.
Eine virtuelle Welt kann man aber nicht nur durch die Nähe von Technik, also
direkt um die Augen, Ohren und Hände, sondern auch im Raum um den ganzen Körper
erstellen, was zum Beispiel durch 360 Grad Projektionen und dementsprechender
Audioverteilung im dreidimensionalen Raum.
Ein Beispiel für ein solches
immersives Storytelling wäre die Installation in der Brauereiwelt von Stiegl.
Hierfür hat Stiegl zur Vermittlung der Geschichte ihrer Brauerei und zum
Näherbringen ihrer Produktionsmethoden und ihrer Produkte ein immersives
Erlebnis für ihre Besucher geschaffen, welches durch eine rundherum Projektion
das Gefühl vermittelt im Herzen der Brauerei zu sein.
Ebenfalls mithilfe von Projektionen wird erforscht,
ob das Schaffen von virtuellen Räumen im Schlafzimmer zu einem besseren
Schlaferlebnis führt. Hierfür gibt es ein Beispielvideo von IKEA, welches diese
Art von „Dream Room“ veranschaulicht.
Diese Art von räumliche Veränderung im eigenen Zuhause
wurde auch in der Zukunftswelt des Films „Cloud Atlas“ dargestellt, welches die
individuelle Raumgestaltung per Knopfdruck ermöglicht.
Eine andere Form der Immersion wird auch im Spielfilm verwendet, da man hier
auf den Bildschirm und dessen Abspielmöglichkeiten beschränkt ist. Ein Beispiel
wäre hierfür der deutsche Film „Victoria“, welcher an einem Abend in genau
einem Shot (ohne Schnitt) gedreht und die Dialoge nur grob geskriptet wurden.
Der Kameramann folgt beim Dreh den Schauspielern auf Schritt und Tritt und gibt
somit dem Zuschauer das Gefühl die Perspektive der Kamera einzunehmen und
dadurch Teil des Films zu sein. Durch diese immersive Storytelling-Methode
nimmt man die Charaktere intensiver wahr und erlebt beim Anschauen diese Nacht
selbst mit. Hier ist der Link zum Filmtrailer. Wenn man den Film aber noch schauen
möchte, schaut man sich den Trailer lieber nicht an, da er die eigentliche
Besonderheit des Filmerlebnisses negativ prägen kann.
Bei der wohl gängigsten Form von immersive Storytelling,
nämlich der Anwendung in VR, wurde oftmals nur das Visuelle gezeigt, d.h. nur
den Sehsinn beeinflusst. Um aber eine richtiges immersives Erlebnis zu
erschaffen, benötigt es auch die drei Dimensionen für den Hörsinn. Dieses
Hörerlebnis kann für VR am besten über Kopfhörer übertragen werden. Dabei ist
aber zu unterscheiden, dass eine normale
Audioproduktion in Stereo, welche man ebenfalls über Kopfhörer abhören kann, nicht genügt, um einen dreidimensionalen Raum auditiv erfahrbar zu machen. In der Abbildung ist dieser Unterschied visuell dargestellt. Für immersive Audio muss man die Klangquellen innerhalb einer Art Sphäre um den Körper des Hörers positionieren. Diese immersive Audioübertragungsform nennt man Binaural Audio.
Damit man eine bessere Lokalisation und somit ein realeres Abbild des Raumes schaffen kann, muss man selbst beim Verändern der Hörposition, wie zum Beispiel ein Kopfdrehen, das richtige Verhältnis zum Raum beibehalten. Das gelingt durch dynamisches Binaural Audio.
Hier ist ein Demovideo, um einen Höreindruck für 3D Audio
in Dynamic Binaural zu bekommen.
Wie genau das technisch funktioniert, würde den
Rahmen dieses Blogeintrags sprengen und wird deshalb ausgelassen.
Zusammengefasst kann man sagen, dass immersive
Storytelling viele neue Möglichkeiten bietet Informationen anhaltend im Gehirn
der Rezipienten zu speichern und verankern. Zudem schafft es eine neue Art von
Erlebnis, welche durch die stetige Entwicklung neuer Techniken und
Verbesserungen im Bereich des Visuellen, Auditiven und der Touch Sensorik immer
realitätsnaher.
Zum Schluss noch zwei weitere Beispiele für immersive Storytelling:
Immersive Art Experience
360° Great Hammerhead Shark Encounter | National
Geographic
Sollte für den Fahrer Leistungsstärke vermitteln-> Emotionalität
Jene warnen bzw. informieren, welche eventuell in Gefahr sind (z.B. Menschen, Lebewesen oder Sensoren vor dem Auto in Fahrtrichtung)
Ab gewisser Distanz (z.B. bei 30 km/h = 8,3 m/s für 6 Sekunden Handlungszeit rund 25 m vorher) mit genügend Lautstärke, um das Auto wahrzunehmen
Frequenz bzw. Tool, welches das Auto ab gewisser Höhe (z.B. 3m) lautlos macht, bzw. sehr leise.
Evtl. Sound im Innenraum lauter erscheinen lassen, als nach außen hin (wird zu weniger aggressivem und vorsichtigerem Fahrverhalten führen -> Sicherheit für die restlichen Verkehrsteilnehmer-Wahrnehmungspsychologie?
Sound im Innenraum zuspielen, wenn nötig
Es muss zwischen dem generellen Sound des Elektroautos und den zu vermeidenden Störgeräuschen im Auto unterschieden werden
Gesetzgebung-> sollte mehr erreicht werden, als die Gesetzgebung vorgibt?
Motoren-Sound von Hans Zimmer
Hans Zimmer, ein sehr berühmter Filmmusikkomponist, gestaltete für BMW einen eigenen Sound für Elektroautos.
Mickey Mousing ist ein Stilmittel für Film und Animation. Dabei wird die Musik genau auf die Bewegungen im Bild abgestimmt. Es hilft, die Aufmerksamkeit des Publikums zu lenken und die Bewegungen in den Bildern hervorzuheben, wodurch diese leichter wahrgenommen werden können. Die Ursprünge und auch die Namensgebung stammen aus dem 20.Jahrhundert in der klassischen Animation von Walt Disney.
Die Beschäftigung mit
Field-Recording von Audio-Material bedeutet die Auseinandersetzung
mit der Aufnahme von Schallquellen, die ortsabhängig wahrnehmbar
sind. Um Klänge der Umwelt und ihre Ursprünge und Folgen in
verschiedenen Kontexten sinnvoll interpretieren und einsetzen zu
können, ist es sinnvoll, sich zunächst einen Überblick über
solche Klänge, ihre Charakteristika und die sie umgebenden
Zusammenhänge zu verschaffen.
