play×see

Play See Teaser

Die in Processing/Java entwickelte Software play×see ist ein Sandkasten für generatives Grafikdesign. Mithilfe eines Keyboards oder eines anderen Midi-Instruments kann jeder Anwender durch die universelle Sprache der Musik die entstehenden Grafiken kontrollieren und damit spielen. Verschiedene Module ermöglichen das Experimentieren mit Form, Linien, Farben, Rastern und Typografie. Außerdem können auch umgekehrt durch verschiedene typografische Formen Töne über einen Midi-Kanal ausgegeben werden, welche sich währenddessen beeinflussen und verzerren lassen, um den Klang der Form zu variieren.

Generative Grafik





Farbkreis

Play See // Farbkreis


Eine der üblichsten Methoden Farben zu ordnen, ist der Farbkreis. Dabei werden die Spektralfarben des Lichts auf einer 360° Skala eingeteilt. Bildet man die verfügbaren Tasten einer Klaviatur darauf ab, ergibt sich eine Zuordnung von Tönen und Farben, die abhängig ist von den spielbaren Oktaven. Es ist möglich, harmonische Beziehungen von Tönen auch auf die Wirkung der ihnen entsprechenden Farben zu übertragen. Da das Gefühl für Farben jedoch gänzlich subjektiv ist, bleibt dies ein Experiment, eine These. Die Anschlagstärke beeinflusst bei diesem Modul sowohl die Helligkeit der Farbe, die Größe der gezeichneten Kreise und den Abstand zum MIttelpunkt. Um ein Nachklingen der Töne zu verbildlichen, verblassen die Farben langsam, bis sie verschwinden. So überlagern sich die Kreise teilweise und erzeugen auch Mischtöne.



Farben Blöcke

Play See // Farben Blöcke


Die Tonhöhe wird auf der vertikalen Achse abgebildet, während sich die Blöcke auf der horizontalen Achse verbreitern solange die Tasten gespielt werden. So ergibt sich eine statistische Abbildung, welche Töne wie lange und wie häufig gespielt werden. Die Balken werden in einem Verlauf von tiefen Tönen–rot bis zu hohen Tönen–blau eingefärbt. Zudem werden leise gespielte Töne sehr schmal und laut angespielte Töne sehr breit abgebildet.



Farben Mischung

Play See // Farben Mischung


Basierend auf dem Farbkreis werden Töne gespielt und als Kreise dargestellt. Diese bewegen sich in das Zentrum eines großen, statischen Kreises und verschwinden dort. Ihre Farbinformation fließt in die Farbe des großen Kreises ein. Die Farbe des großen Kreises kann also durch das spielen von Tönen verändert werden. Man erspielt sich eine durchschnittliche Farbe–gleichmäßig oft gespielte gelbe sowie blaue Tasten färben den großen Kreis grün.



Linien

Play See // Fallende Linien


Die Einteilung der Noten auf einem Kreis ist dieselbe wie bei den Farbkreisen. Ein Kreis wird in die auf einer Klaviatur zur Verfügung stehenden Tasten eingeteilt. Es wird jedes Mal wenn ein Ton gespielt wird, eine Linie gezeichnet, von der zuvor gespielten Note zu der folgenden Note. Die Dicke und Helligkeit der Linien wird durch die Anschlagstärke variiert. Es gibt verschiedene Variationen von diesem Modul: Zunächst bleiben die Linien statisch, das gezeichnete Bild wird somit immer komplexer, je mehr Töne gespielt wurden.

Play See // Linienkreis
Play See // Strahlenkreis




Layout Raster

Play See // Raster Linien


Eine Möglichkeit, aus Musik ein Layout zu schaffen, ist ein Raster. Jeder gespielte Ton erzeugt ausgehend von der Seitenmitte zwei Linien, die sich abhängig von der Anschlagstärke mit einer bestimmten Geschwindigkeit in Richtung Seitenrand bewegen. Sie werden immer langsamer und kommen schließlich an einer bestimmten Position zum Stehen. Abhängig davon, ob eine schwarze oder weiße Taste gespielt wurde, wird eine horizontale oder vertikale Einteilung der Seite initiiert. Je mehr Töne gespielt wurden, desto komplexer wird also das Raster, das die Seite überlagert. Die Einteilung der Seite bildet also in gewisser Weise die Dynamik der gespielten Töne ab.



Layout Balance

Play See // Layout Raster


Entscheidend für jedes Layout ist die Balance zwischen den darin angeordneten Elementen. Eine Seite wird zunächst in ein einfaches Raster von 9×12 Quadraten aufgeteilt. Die Anzahl und somit auch das Seitenverhältnis können jedoch variiert werden. Für eine Bild- und eine Textfläche wird eine zufällige Startposition ermittelt. Sobald Töne gespielt werden, vergrößern sich diese Bereiche nach einem bestimmten Schema: Sind die gespielten Töne eher fest gespielt, wird dadurch die Bildfläche größer (schwerer). Wenn es leise Töne sind, wächst die Textfläche. Eine leise Seite enthält folglich nur Text, während eine sehr laute Seite mit einem Bild ausgefüllt sein wird. Eine Fläche erweitert sich nur, wenn sie noch Platz zu einer Seite hin hat und nicht durch die andere Fläche und die Seitenbegrenzung eingeschlossen ist. Mit der Zeit verkleinern sich die Bereiche wieder. Somit spiegelt das Verhältnis zwischen Bild und Text immer die gegenwärtige Balance zwischen lauten und leisen Tönen wider. In gewisser Weise liefert das Raster das Seitenverhältnis und die rhythmische Basis für das Layout. Eine Seite mit einer Einteilung von 9×12 kann mit einem Seitenverhältnis von 3 zu 4 auch dem ¾-Takt enstprechen. Die Bildflächen werden in die Einheiten des Rasters zerteilt, um es zusätzlich zu betonen.



Format

Play See // Format


Grundlage für das Format ist das Verhältnis zwischen der vertikalen und horizontalen Abmessung einer Fläche. Ein Verhältnis zwischen zwei Werten also, welches auch die Orientierung (hoch oder quer) des Formates bestimmt. Dieses Verhältnis soll dem zwischen der Anzahl der gespielten schwarzen und der Anzahl der gespielten weißen Tasten entsprechen. Dabei verändert sich das Format während des Spielens fortwährend.



Dynamische Typografie

Play See // Dynamische Typografie

Ein Weg, Musik mit einer Schrift wiederzugeben ist, die Eigenschaften der gespielten Töne auf bestimmte Eigenschaften einer dynamischen Schrift zu übertragen. Dabei kann sich der Strichstärkenkontrast, die Fette, die Stärke der Neigung oder die Länge der Serifen einzelner Buchstaben verändern. Bei einer statischen Schrift würden viele verschiedene Schnitte nötig sein, ein solches Spektrum unterschiedlichen Aussehens zu ermöglichen. Eine dynamische Schrift kann diese Eigenschaften fließend verändern. Die entwickelte Schrift verfügt über alle Buchstaben von A bis Z. Abhängig von der Tonhöhe und Anschlagstärke werden Kontrast, Dickte, Neigung und Serifenlänge des Buchstabens während des Spielens fortlaufend verändert.

Für jeden Buchstaben sind drei Basis-Schnitte festgelegt: Regular, Bold und ein Schnitt mit Strichstärkenkontrast. In jedem dieser Schnitte sind auch die Serifen entsprechend angelegt. Die Unterteilung in einzelne Segmente erleichtert die Gestaltung. Jeder Schnitt muss dieselbe Anzahl, Art und Reihenfolge von Ankerpunkten, Linien und Kurven beinhalten. Dieses Schema kann als Standard verstanden werden, auf dem dynamische Schriften basieren. Die Vektorinformation wird in dem offenen svg (scalable vector graphic) Format gesichert. Da dieses Format auf XML basiert, eignet es sich außerdem, bestimmten Segmenten Klassen und erweiterte Eigenschaften (wie beispielsweise den Serifen) zuzuweisen.



Typografie erzeugt Töne (Midi)

Play See // Typografie erzeugt Midi


DIe Kontur einer Schrift wird in einzelne Punkte zerteilt. Da nur der äußere Pfad relevant sein soll, werden die Punzen entfernt. Dieser Pfad wird von einem roten Punkt fortwährend abgefahren. Dabei werden von der vertikalen Position ausgehend Töne erzeugt. Je höher die Punkte sind, desto höher werden die Töne. Werden zudem Töne gespielt, kann dadurch die Kontur moduliert und der Klang an dieser Stelle verändert werden. Der gespielten Tonhöhe und Anschlagstärke entsprechend schwingt dann eine langsam ausklingende Sinuskurve, auf die die Lage der Punkte übertragen wird. Wenn ein Ton gespielt wird, zeichnet dies also eine Welle in die Kontur des Buchstabens hinein. Je länger und extremer an einer Stelle gespielt wurde, desto verzerrter und unkenntlicher wird die Form des Buchstabes. Dies lässt sich auch an dem durch die Kontur erzeugten Klang wahrnehmen. Jede beliebige Schrift und jedes mögliche Zeichen kann hierfür herangezogen werden.

Play See // Typografie Midi Modulation 2
Play See // Typografie Midi Modulation 1