Wenn wir uns in alltäglichen Gesprächen etwas erzählen, berichten oder jemand anderen überzeugen wollen, dann sind es selten rein abstrakte Informationen, die wir mit unseren Worten vermitteln. Vielmehr ist unser ganzer Körper in einer Gesprächssituation beteiligt: Stimmliche Klänge, Gesichtsausdrücke und Gesten zeigen auch Gefühle, Gedanken, Meinungen und Aktionen auf.

Diesem Prinzip der Verkörperung begegnen wir auch bei audiovisuellen Medien: Die Wort-Sprache ist bei Nachrichten, Spielfilmen und Serien etc. ebenfalls nicht die einzige Ebene, auf der eine Kommunikation mit den Zuschauern stattfindet; zugleich und ebensosehr artikulieren sich Stimmungen und Bedeutungen über das multimodale Zusammenwirken filmischer Mittel wie Kameraführung, Mise en Scène, Bildkomposition, Schauspiel, Sound und Montage - als sinnliche Qualitäten und Bewegungsmuster.

„Das Rettungspaket nimmt langsam Fahrt auf.“ Tagesschau vom 20.20.2008

Doch wie genau hängen sowohl in der Face-to-Face-Kommunikation als auch in medialen Kommunikationssituationen die Prozesse von Wahrnehmen, Fühlen und Verstehen zusammen? Wie interagieren in einem Nachrichtenbeitrag etwa Worte und Bilder multimodal, und wie lässt sich durch dieses Verhältnis z.B. die Lenkung von Aufmerksamkeit beschreiben

Diese Fragen lassen sich gut an sprachbildlichen Phänomenen untersuchen, gelten doch Metaphern in beispielhafter Weise als eine Bündelung von Sinnlichkeit und Sinnhaftigkeit. Metaphern bringen eine Bildlichkeit hervor, durch die etwa ein abstrakter Sachverhalt konkret und sinnlich anschaulich wird. Das gedankliche Verstehen und das körperliche Erfahren werden über Metaphern stark in eins gesetzt.

„Psychoanalysis is opening doors“ Nachweis: SPELLBOUND, Alfred Hitchcock, USA (1945)

Wie sich der Zusammenhang von Empfinden und Verstehen in unserer Kommunikation konkret ereignet und ausgestaltet, erforschen wir deshalb anhand vonmultimodaler Metaphorik - also anhand von metaphorischen Prozessen, in denen verschiedene Ausdrucksebenen zusammenwirken.

  
→ Projektseite     → Projektziele     →Projektmitarbeiter_innen

Publikationen

Bakels, Jan-Hendrik (2014, in Vorbereitung) Embodying audio-visual media. Concepts and transdisciplinary perspectives. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Alan Cienki, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Böhme, Dorothea, Franziska Boll, Christina Schmitt and Cornelia Müller (2014, in Vorbereitung) Gesture as interactive expressive movement: Inter-affectivity in face-to-face communication. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Alan Cienki, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Greifenstein, Sarah and Hermann Kappelhoff (2014, in Vorbereitung) The discovery of the acting body. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Alan Cienki, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Scherer, Thomas, Sarah Greifenstein and Hermann Kappelhoff (2014, in Vorbereitung) Expressive movement in audio-visuals: modulating affective experience. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Alan Cienki, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Schmitt, Christina, Sarah Greifenstein and Hermann Kappelhoff (2014, in Vorbereitung) Expressive movement and metaphoric meaning making in audio-visual media. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Alan Cienki, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Schmitt, Christina and Sarah Greifenstein (2014, in Vorbereitung) Cinematic communication and embodiment. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill and Jana Bressem (Hrsg.), Body – Language – Communication: An International Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science. Berlin, New York: De Gruyter Mouton.

Kappelhoff, H., Bakels, J.-H. (2011) Das Zuschauergefühl - Möglichkeiten empirisch orientierter Filmanalyse. Zeitschrift für Medienwissenschaft Nr. 5.

Kappelhoff, H., Müller, C. (2011). Embodied meaning construction. Multimodal metaphor and expressive movement in speech, gesture, and in feature film. Metaphor and the Social World (2).

Müller, C. (2011). Reaction Paper. Are ‘Deliberate’ Metaphors really Deliberate. A Question of Human Consciousness and Action. Metaphor and the Social World (1).

Müller, C., Tag, S. (2010). The Dynamics of Metaphor. Foregrounding and Activating Metaphoricity in Conversational Interaction. Cognitive Semiotics (Special Issue No 6, Spring 2010).

Vorträge (Auswahl)

Christina Schmitt & Sarah Greifenstein (2013). „What you see is what you get. Zur Rhetorik wissenschaftlicher Vorträge“, GfM-Jahrestagung 2013: Medien der Wissenschaft, Lüneburg (Deutschland).

Christin Schmitt & Sarah Greifenstein (2013). „Metaphors in film – unfolding and arising“, Workshop Experimental work on Metaphor; RaAM 2013 Seminar: “Metaphor, metonymy and emotions”, Posen (Polen).

Jan Bakels & Sarah Greifenstein (2012). „The Way We Feel: The Emerging of Narrative Meaning in Film Experience“, Workshop "Rethinking Metaphor. Conceptual Integration and Empirical Methods", Murcia (Spanien).

Sarah Greifenstein (2011). „(Cinematic) expressive movements in Screwball Comedies“, 5th Nomadikon Conference "image=gesture"; Bergen (Norwegen).

Christina Schmitt (2011). „Metaphorically structured audiovisual expressive movements in commercials: Images as rhetoric gestures“, 5th Nomadikon Conference "image=gesture"; Bergen (Norwegen).

Hermann Kappelkoff & Cornelia Müller (2012). „Analyzing multimodal metaphors in audio-visuals as dynamic temporal orchestrations“, Workshop Experimental work on Metaphor, ; Princeton University

Sarah Greifenstein, Stefan Rook, Hermann Kappelhoff, Cornelia Müller, Christina Schmitt und Susanne Tag (2010). „Multimodal metaphors and expressive movement in film. Audiovisual aesthetic structures modelling emotions“. 4th Conference of Language, Culture and Mind (LCM4). Åbo Akademi University, Turku (Finnland).

Christina Schmitt, Susanne Tag, Hermann Kappelhoff, Cornelia Müller, Stefan Rook, Sarah Greifenstein (2010) „Analyzing metaphoric expressions in TV reports. An interdisciplinary approach to metaphors in speech, gesture and film“. 4th Conference of Language, Culture and Mind (LCM4). Turku (Finnland).

Hermann Kappelhoff & Cornelia Müller (2010). „Multimodal metaphors and expressive movements in speech, gesture, and audiovisual images – A cognitive-linguistic and a film-analytic approach to multimodal metaphors“. 8th International Conference on Research and Applying Metaphor (RaAM8): Metaphor and Domains of Discourse. Vrije Universiteit Amsterdam (Niederlande).

Christina Schmitt, Susanne Tag, Hermann Kappelhoff, Cornelia Müller, Stefan Rook & Sarah Greifenstein (2010) „Intertwined Metaphoric Expressions. Bringing together Linguistic and Film-Aesthetic Analysis“. 8th International Conference on Research and Applying Metaphor (RaAM8): Metaphor and Domains of Discourse. Vrije Universiteit Amsterdam (Niederlande).

Sarah Greifenstein, Stefan Rook, Hermann Kappelhoff, Cornelia Müller, Christina Schmitt & Susanne Tag (2010) „'Psychoanalysis is Opening Doors' – A Film Aesthetic & Linguistic Analysis of Hitchcock’s SPELLBOUND“. 8th International Conference on Research and Applying Metaphor (RaAM8): Metaphor and Domains of Discourse. Vrije Universiteit Amsterdam (Niederlande).

Christina Schmitt, Susanne Tag, Hermann Kappelhoff, Cornelia Müller,Sarah Greifenstein & Stefan Rook (2010). „Audiovisual orchestrations of metaphoric gestures in a TV report“. 4th conference of the international society for gesture studies (ISGS'10) - gesture. evolution, brain, and linguistic structures. Europa-Universität Viadrina, Frankfurt/Oder (Deutschland).

Sarah Greifenstein (2010). „Gestures in Film. Describing Gestures in American Screwball Comedies from an Interdisciplinary Approach“. 4th conference of the international society for gesture studies (ISGS'10) - gesture. evolution, brain, and linguistic structures. Europa-Universität Viadrina, Frankfurt/Oder (Deutschland).

Workshops

"Ausdrucksbewegung und Verkörperung" (21.-22. Mai 2010, FU Berlin) mit Alan Cienki, Jens Eder, Thomas Elsaesser, John Michael Krois und Hilge Landweer.

"Dynamic Metaphor Analysis" (19. Oktober 2010, FU Berlin) mit Lynne Cameron.

"Cognitive-linguistic Film Analysis - Multimodal Metaphor and Blending" (17.-18. November 2010, FU Berlin) mit Charles Forceville und Todd Oakley.

„Metaphor, Emotion and Embodiment“ (20. & 21. August 2012) mit Ray W. Gibbs.

Bildnachweis:
Bild 1: „Das Rettungspaket nimmt langsam Fahrt auf.“ Nachweis: Tagesschau vom 20.20.2008
Bild 2: SPELLBOUND, Alfred Hitchcock, USA (1945)