Stefan Heidenreich

Form und Filter - Algorithmen der Bilderverarbeitung und Stilanalyse

Abstract   

Die Grundbegriffe Wölfflins lassen sich mit Hilfe digitaler Algorithmen nachmodellieren. Welches Wissen wird damit gewonnen? Auch Wölfflin hat auf mediale Veränderungen reagiert, indem er die Doppel-Projektion von Dias in den binären Differenzen der Grundbegriffe nachbildete. Sie lesen der Projektion zweier Bilder eine historische Differenz aus, die für die Disziplin der Kunstgeschichte grundlegend ist. Eine digitale Nachbildung dieser Differenz wäre tautologisch: sie würde ein gewusstes Wissen wiederholen. Fruchtbar wird der Einsatz digitaler Algorithmen dann, wenn sie nicht nur etwas Bekanntes abbilden, sondern wenn man fragt, zu welcher "methodischen Grenzerweiterung" sie beitragen könnten.

Filter

<1>
Filter zeichnen sich dadurch aus, dass sie bestimmte Anteile einer Information abschwächen oder entfernen, andere Anteile dagegen erhalten oder verstärken. Sie erfüllen diese Aufgabe in den unterschiedlichsten Medien - in Chemielaboren, beim Kochen, in Mail-Programmen, beim Musikhören und ganz allgemein in der Signal- und der Datenverarbeitung. Wenn eine Filteroperation glückt, bleibt das zurück, was man sehen wollte, während die unwichtigen Anteile gedämpft sind. Man könnte sagen, der Einsatz eines Filter sei intentional.

<2>
Was Filter und Form verbindet, spielt sich - um auf den Gegensatz einzugehen, der die Tagung in gewissem Sinn leitet - weniger auf der Seite der digitalisierten, als auf der der digitalen Kunstgeschichte ab. Das hängt mit einer der Grundannahmen jeder Medientheorie zusammen, dass nämlich das Schreibwerkzeug an unseren Gedanken mitschreibt. Wir denken und wissen nicht dasselbe, wenn unterschiedliche Medien zum Einsatz kommen. Bilder bleiben nicht einfach dieselben, wenn sie digitalisiert sind. Trotzdem kann man durchaus so tun, als ob das Wissen der Kunstgeschichte sich ohne Verlust und Gewinn digitalisieren und in Computer und Netze einspeisen ließe, um im Nachhinein zu bemerken, was sich dabei verändert. Nichts hält uns davon ab, überaus exakte digitale Reproduktionen herzustellen und diese im gleichen Sinn wie früher Fotografien oder noch früher Kupferstiche über die - nun digitalen - Netze zu verteilen.
Aber das Wissen, die Aussagen, das Sprechen und Denken über Bilder wandeln sich mit den Medien, in denen sie vorliegen. Das betrifft die Kunstgeschichte nicht erst, seit sie mit digitalen Medien arbeitet, sondern auch schon unter den Bedingungen von Druckgrafik, Fotografie oder der Diaprojektion.

<3>
Gegenüber den digitalen Medien scheint sich die Disziplin gespalten zu verhalten: die Netze werden als Übertragungsmedium begriffen, und man ist bestrebt, das vorhandene Wissen in den gängigen Formaten ohne weitere Veränderung, aber unter Inkaufnahme der infantilisierten Nutzer-Oberflächen abzubilden. Die Algorithmen der Bildverarbeitung dagegen werden geflissentlich ignoriert und jenen Spezialisten überlassen, die Bildformate und Komprimierungsverfahren entwickeln, Grafikprogramme schreiben, Bilddatenbanken bauen und an Bilderkennungsverfahren arbeiten - so als könnte all das eine Disziplin wie die Kunstgeschichte nie betreffen. Das Beispiel eines der einfachsten Bildverfahren zeigt, auf welche Weise Algorithmen die Bildwissenschaften erreichen.

1 2 1
2 4 2
1 2 1

<4>
Bei dieser Matrix von drei mal drei Punkten handelt es sich um einen sogenannten Gauß-Filter. Er stellt eines der wichtigsten Werkzeuge der digitalen Bildverarbeitung dar. Den Namen das Mathematikers Gauß trägt dieser Filter, weil er in grober Annäherung die berühmte Gauß’sche Glockenkurve - eine Darstellung der statistischen Normalverteilung - als auf die Fläche abgebildete Figur darstellt.

Vergrößern (193 KB)

<5>
Stellt man sich die flächige Verteilung der Werte als Höhen vor, so erhält man eine Form, die in etwa einem Hut gleicht.

Vergrößern (74 KB)

<6>
Die Anwendung eines solchen Filters ist denkbar einfach. Jedes Pixel des eingegebenen Bildes wird auf ein Pixel des Ausgabebildes übertragen. Dabei summiert man die Umgebung des Pixels nach Vorgabe der Filterwerte: die direkt benachbarten Farbwerte werden verdoppelt, die diagonal benachbarten einfach hinzugezählt, der Farbwert des Zentrums vervierfacht und danach der Durchschnitt gebildet.

<7>
Im Ergebnis zeigt das resultierende Pixel in diesem Fall ein neutrales Grau und mildert damit die Farbgegensätze seiner Umgebung. Auf ein ganzes Bild angewandt wirkt ein solcher Filter als Weichzeichner. Man findet genau diese Operation des Gauß-Filters als Standardwerkzeug in allen gängigen Programmen der Bildverarbeitung.

Stilanalyse mittels digitaler Bildverarbeitung

<8>
Der Effekt des Weichzeichnens besteht darin, harte Kanten im Bild zu verschleifen. Für die meisten Anwendungen der Bilderkennung sind allerdings genau diese Kanten von allergrößtem Interesse, denn sie "bieten einen natürlichen Weg, um von einer analogen oder kontinuierlichen Repräsentation wie den zweidimensionalen Bildwerten I(x,y) zu einer diskreten, symbolischen Repräsentation zu gelangen." [1] Die Kante trägt eine Differenz ins Bild ein und wird dazu gebraucht, Bereiche zu segmentieren, um sie dann als Objekte zu isolieren, die durch Sprache, Programme oder Formate adressiert werden. Über die Kante führt deshalb ganz folgerichtig der wichtigste Weg, um die in Bildern gezeigten Dinge aus den Bilder heraus zu lösen und sie in die Welt des Symbolischen zu überführen.

<9>
Mit Hilfe einer einfachen Umkehroperation lässt sich ein weichgezeichnetes Bild in dessen hard-edged-Version verwandeln, denn jede Filteroperation besitzt per definitionem ein Gegenteil. Wenn man daher die unscharfe von der scharfen Variante Pixel für Pixel abzieht, bleiben die Kanten übrig. Ein aus der Kunstgeschichte bekanntes Bildpaar soll das Verfahren illustrieren, die Abbildungen einer Dürer- und einer Rembrandt-Skizze aus den Kunstgeschichtlichen Grundbegriffen Heinrich Wölfflins.

Vergrößern (185 KB)

<10>
Nach einer Bearbeitung mit dem Gauß’schen Operator sieht das Bild unscharf aus.

Vergrößern (58 KB)

<11>
Wenn man die verschwommene Version von dem Original Pixel für Pixel subtrahiert, dabei Pixel-Gleichheit als hell und Unterschiede als dunkel markiert, erhält man als Ergebnis die Abweichung des unscharfen von dem scharfen Bild und damit die ursprünglich vom Gauß-Filter geglätteten Kanten.

Vergrößern (137 KB)

<12>
Am Beispiel des Bildpaares zeigt sich eine Parallele zwischen algorithmischer und kunsthistorischer Bildbetrachtung. Wölfflin gebraucht den Gegensatz zwischen linear und malerisch als eines der Gegensatzpaare seiner kunsthistorischen Grundbegriffe. Die Bildverarbeitung scheint Wölfflins Analyse zu bestätigen. Dürer konturiert die Figur durch relativ klare Kantenzüge, während bei Rembrandt Kanten und Umrissform selten übereinstimmen. Der Unterschied lässt sich sowohl dem Bild ansehen als auch statistisch nachweisen. Vermutlich wäre es möglich, für jedes der fünf Gegensatzpaare der kunsthistorischen Grundbegriffe eine entsprechende algorithmische Bildoperation zu finden, und vielleicht hätte Heinrich Wölfflin diese Möglichkeit zu schätzen gewusst, hätte sie ihm doch erlaubt, seine Stilanalyse nicht nur mit dem Auge, sondern auch noch durch vermeintlich unbestechliche Zahlen zu bestätigen.

<13>
Was würde eine Übersetzung der Stilanalyse in Verfahren der digitalen Bildverarbeitung erreichen? Eine Reihe feststehender Aussagen könnte mit Hilfe einer neuen digitalen Methode wiederholt werden. Ein wohlbekanntes Wissen würde aus einem ehemals neuen Medium in ein noch neueres übertragen. Nichts anderes hat Wölfflin selbst mit seiner Stilanalyse unternommen. Das seinerzeit neue Medium bestand in der Diaprojektion. Rückblickend konstatiert Wölfflin über sein Werk: "Man pflegt die ‘kunstgeschichtlichen Grundbegriffe’ als meine originellste Leistung zu betrachten. Ohne Projektion kann ich darüber nicht gut reden." [2] Das Medium der Diaprojektion stellte die Disziplin der Kunstgeschichte vor die schlichte Aufgabe, ihr Wissen über Bilder im Licht der Projektion zu bestätigen. Wölfflin legt dafür mit seinen fünf Gegensatzpaaren eine ebenso einfache wie elegante Lösung vor. In der Form der binären Dichotomie bildet sich die Doppelprojektion ab, jedem Paar von Dias weist er ein Paar gegensätzlicher Begriffe zu. Er überführt damit das neue Medium in eine neue Methode und geht über seinen Vorgänger Hermann Grimm hinaus, dessen Bestreben sich noch darauf beschränkte, die Projektion als Medium der Vermittlung einzusetzen [3].

<14>
Vielleicht muss man sich damit abfinden, dass die Effekte eines Mediums erst ab Ablauf einer Renitenz-, Inkubations- oder Sozialisationsphase von einem guten Jahrzehnt ihren Weg auftreten. Mit den Unterscheidungen linear - malerisch, flächig - tief, geschlossen - offen, Vielheit gegen Einheit, absolute gegen relative Klarheit gelingt es Wölfflin, die fotografierten Werke nicht mehr einfach nur vorzuführen, sondern ihnen etwas anzusehen. Was er in der Doppelprojektion sah, wusste die Kunstgeschichte allerdings ohnehin - die Zuordnung zu einer Epoche, Renaissance oder Barock. In diesem Licht erscheint die Methode der Kunstgeschichtlichen Grundbegriffe als eine bloße Transformation, mit deren Hilfe das neue Medium der Diaprojektion ihre Gegenstände in die historische Ordnung wiedereingegliedert, die für die Disziplin der Kunstgeschichte Konstitution war. Das Neue an Wölfflins Grundbegriffen erscheint nicht im Resultat, sondern im Verfahren.

<15>
Daraus zu schließen, dass erst die ikonografische Methode der Warburg-Schule die Kunstgeschichte wieder von ihren Medien unabhängig gemacht hätte, ist voreilig. Auch Warburgs Arbeit an seinem Mnemosyne-Atlas wäre ohne die optischen Medien seiner Zeit nicht denkbar gewesen. Am Ende seines wegweisenden Schifanoia-Aufsatzes kommt die Projektion ins Spiel: "Kommilitonen! Die Auflösung eines Bilderrätsels - noch dazu wenn man nicht einmal ruhig beleuchten, sondern nur kinematographisch scheinwerfen kann - war selbstverständlich nicht Selbstzweck meines Vortrags." [4] Wenn die Lösung eines Rätsels keinen Zweck verfolgte, so stellt sie doch einen medialen Ausgangspunkt dar, denn nur die Verfügbarkeit über große Mengen an Bildern erlaubt es Warburg, die Rätsel, die er in den Bildern sieht, als Bilderrätsel zu lösen. Aus der fotografisch gestützten, beispielhaften Auflösung ergeben sich wissenschaftliche Herausforderungen, die Warburg bis zum Ende seines Lebens dazu veranlassen, Fotografien zu sammeln und in einem ständigen Prozess neu zu ordnen.

<16>
Sowohl bei der Methode Wölfflins wie auch bei der Warburgs handelt es sich um eine von dem Medium der Fotografie angeregte Transformation. Während Wölfflin seine Begriffe erfindet, um den Bildern eine kunsthistorische Ordnung anzusehen, gruppiert Warburg die Bilder, um vergessene Zuordnungen wieder offenzulegen. Wölfflin liest dem Medium ein vorgegebenes Wissen aus, Warburg entdeckt darin ein verschüttetes Wissen wieder.

<17>
Zurück zu der Frage nach der Digitalisierung der "Grundbegriffe". Eine algorithmische Imitation der Wöfflin’schen Analyse würde dessen Transformation einfach um eine weitere, gleich gerichtete Transformationsleistung ergänzen. Sie könnte keine anderen Aussagen zu Tage fördern als diejenigen, die bereits vor Wöfflins Arbeit bekannt waren, und damit die gleichen, die Wölfflin im neuen Medium wiederfand und die nun im neueren Medium ein zweites Mal auftauchen würden. Was das Wissen anbelangt, bleibt die Operation tautologisch, wenn auch nicht ganz vergeblich. Die Transformation von etwas schon Gewusstem in einen neues Medium kann durchaus die Vorbedingungen dafür schaffen, mit den gleichen Mitteln etwas zuvor Unbekanntes zu entdecken. Es handelt sich bei diesem Effekt gewissermaßen um die wissenschaftliche Anwendung der These McLuhans, "dass der ‘Inhalt’ eines Mediums immer ein anderes Medium ist". [5]

Codierung von Frequenzbereichen als Strategie der Moderne

<18>
Die endgültige Digitalisierung der kunstgeschichtlichen Grundbegriffe sei künftigen Zwitterwesen von Kunstwissenschaftlern und Programmierern überlassen, die sich nicht mehr darüber streiten müssen, was ein Bild sei, weil sie wissen, dass es I(x,y) ist. Interessanter erscheint die Frage, welches neue Wissen über die Bilder die Algorithmen der Bildverarbeitung anbieten. Um ein weiteres Beispiel aus der Kunstgeschichte heranzuziehen: es gibt eine Stilentwicklung der Moderne, an der sich eine Parallele von Geschichte und Filteroperationen nachweisen lässt - und zwar die Epoche vom Beginn der malerischen Avantgarde im 19. Jahrhundert bis etwa in die 50er Jahre des letzten Jahrhunderts. Nachrichtentechniker würden den Zusammenhang etwa folgendermaßen formulieren: Die malerische Avantgarde zwischen 1870 und 1960 filtert Frequenzbereiche der Bilder aus, um sie dem Aspekt der Abbildung zu entziehen und für stilistische Distinktionen auszubeuten.

<19>
Um das Argument zu erläutern, vorab einige Anmerkungen zu Filtern und Frequenzen in Bildern. Ein Signal zu filtern, heißt wie anfangs gesagt, einen bestimmten Anteil abzuschwächen, einen anderen zu verstärken. Aus der Akustik ist allgemein bekannt, was Höhen und Tiefen sind, und wie es sich anhört, wenn sie aus einem Klang herausgefiltert werden. Etwas Vergleichbares lässt sich auch bei Bildsignalen durchführen, allerdings nicht entlang der Zeitdimension, sondern in den beiden Dimensionen der Bildfläche. Eine markante bildliche Frequenz liegt vor, wenn eine Farbe sich in einem bestimmten Abstand regelmäßig wiederholt, wie etwa bei einem Stoffmuster. Ein enges Karomuster besitzt eine andere spezifische Ortsfrequenz als ein weites. Bei dem anfangs besprochenen Gauß-Filter handelt es sich um einen Frequenzfilter, denn er lässt breites Karo unbeschadet, während sehr enge Linienfolgen verschmelzen. Ein Beispiel aus einem Lehrbuch der praktischen Bildverarbeitung zeigt diesen Effekt deutlich:

Vergrößern (266 KB)

Je unschärfer das Bild wird, desto mehr verschwinden die feineren Linien im Fell der Zebras, während die niederfrequenten Anteile übrig bleiben.

<20>
Man kann behaupten, dass die moderne Malerei zumindest zeitweise so verfahren ist, dass sie hochfrequente Bildanteile für stilistische Distinktionen vorbehielt und nur niederfrequente der Darstellung von etwas, seien es Figuren oder Räume, übrig ließ. Eine Urszene dieser Strategie spielt sich um 1869 ab, als Monet und Renoir gemeinsam am See Grenouillère vor den Toren von Paris ihre Staffeleien aufstellten. Sie begannen damit, die Wellen des Wassers und die ihnen entsprechenden Bewegungen des Pinsels auf das ganze Bild auszudehnen, über Bäume, Wolken, Häuser und Menschen. Nachrichtentechnisch ausgedrückt: sie unterlegten sie dem gesamten Bild eine durchgehende Ortsfrequenz.

Vergrößern (275 KB)

<21>
Dass damit ein Bild zwar die Umwelt weniger genau, dafür aber umso deutlicher seinen Urheber und dessen "Stil" abbildet, stellt einen historischen Startpunkt für die Strategie der modernen Avantgarden dar. Die Urheberschaft der Verbindung von Frequenz und Stil ist unklar. Ob Monet selbst es war, der darauf kam, seinen Farbauftrag als stilistische Markierung zu codieren, oder ob sein Galerist Durand-Ruel im Londoner Exil bei der Suche nach amerikanischen Sammlern den bahnbrechenden Einfall hatte, oder ob jener Journalist entscheidend dazu beitrug, der Monet zusammen mit anderen Malern als "Impressionisten" beschimpfte, bleibt zu klären [6]. 

<22>
In jedem Fall hat sich die Codierung von Frequenzbereichen als eine der erfolgreichsten Strategien der modernen Malerei erwiesen. Beinahe alle Stilrichtungen um die Jahrhundertwende zum 20. Jahrhundert etablieren sich über einen spezifisch codierten Frequenzbereich, der in Kubismus und Pointilismus oder später in der hard-edge-Malerei sogar namensgebend wird. Diese Bewegung, die weite Teile der modernen Malerei betrifft, hält so lange an, bis die gesamte Bildfläche als Ressource einer progressiv sich über alle Frequenzen ausbreitenden Stil-Codierung erschöpft ist. Am Ende des Prozesses bleiben schlicht und einfach nur noch Muster übrig, die über einem Stil und einem Namen eindeutig zugeordnet werden können, solange Museen und Kunstgeschichte die Zuordnungen erinnern. Maler wie Jackson Pollock oder Ad Reinhardt repräsentieren zwei mögliche Enden der Frequenzcodierung, der eine im höherfrequenten, der andere im niedrigerfrequenten Bereich.

Vergrößern (281 KB)

Vergrößern (121 KB)

<23>
Was wäre gewonnen, wenn es gelingt, die Geschichte der modernen Malerei als einen Progress (oder aus anderer Warte: Regress) durch die Frequenzbereiche der Bilder darzustellen? Die Tautologie, die schon die Methode Wölfflins kennzeichnet, wäre wiederum um einen Schritt weiter getrieben und hätte etwas offensichtlich gemacht, was ohnehin schon offensichtlich war. Um den Gebrauch eines neuen Mediums tatsächlich in neues Wissen zu verwandeln, ist nach wie vor unerlässlich, was Warburg als eigentlichen Zweck hinter dem Bilderrätsel angab: "Mit diesem hier gewagten vorläufigen Einzelversuch wollte ich mir ein Plaidoyer erlauben zu Gunsten einer methodischen Grenzerweiterung unserer Kunstwissenschaft in stofflicher und räumlicher Beziehung." [7] Der Unterschied zwischen digitaler und digitalisierter Kunstwissenschaft erweist sich genau an dieser Frage: erfordert ein neues Medium eine methodische Erweiterung oder nicht? Es führt zu nichts, Algorithmen blind einzusetzen, denn ohne eine methodische "Intention" werden die Rechenverfahren der digitalen Bildverarbeitung wenig über die visuelle Kultur aussagen. Umgekehrt kann sich nur eine Methode als fruchtbar erweisen, der es gelingt, die digitalen Operationen in Wissen zu überführen - tautologische Operationen wären bei diesem Anfang durchaus in Kauf zu nehmen.

<24>
Die Frequenz-Geschichte der modernen Malerei gibt einen Hinweis. Betrachtet man die Produktion von Bildern als ein Spiel von Nachahmung und Abweichung, so können digitale Verfahren recht gut dazu beitragen, in einer begrenzten Menge von Bildern - etwa den Werken der Moderne - nachzuweisen, welche Bildmerkmale über einen Zeitraum konstant bleiben, welche sich verändern und wie bestimmten Veränderungen jeweils als Stil gebündelt werden. Die Form, die es hinter dem Filter zu entdecken gilt, reformuliert den klassischen Begriff: sie löst sich auf in ein Format, das Paratexte und Metadaten der Bilder enthält, und in eine dynamische Komponente, deren Redundanzen, Regeln, Brüche und Distinktionen sich mit den Algorithmen überschneiden.