
A Multimodal Language Faculty: A Cognitive Framework for Human Communication
Sprache wird traditionell als "amodales" System betrachtet, das in verschiedene Formen wie Sprechen, Schreiben oder Gebärden übergeht; Kommunikation ist jedoch von Natur aus multimodal. Wir verbinden Sprache mit Gesten, verwenden Emoji mit Text und kombinieren Schrift mit Zeichnungen und Bildern - von Kritzeleien über Comics bis hin zur Werbung.
Die linguistischen und kognitiven Theorien, die an der traditionellen amodalen Auffassung von Sprache festhalten, können dem Reichtum dieser multimodalen Kommunikation jedoch nicht gerecht werden. Was wir brauchen, ist ein neues, multimodales Paradigma der Sprache. In diesem Buch wird ein Modell einer multimodalen Sprachfähigkeit vorgestellt, das eine Neuordnung der Strukturen der Sprache und ihrer Leitannahmen einleitet.
Es zeigt, dass die primären menschlichen Ausdrucksverhaltensweisen - Sprechen, Gebärden, Zeichnen - zwar unterschiedlich zu sein scheinen, aber in Wirklichkeit in ähnliche kognitive Bausteine zerfallen, die sich zu einem facettenreichen multimodalen kommunikativen System zusammenfügen. Das Ergebnis ist eine Darstellung der menschlichen Kognition, bei der die gesamte Kommunikation - ob Sprache, Gesten, Grafiken und ihre multimodalen Interaktionen - als emergente Aktivierungszustände aus einer einzigartigen kognitiven Architektur hervorgehen.
Die vorgestellte Architektur stellt eine "große einheitliche Theorie" von Sprache und Kommunikation dar, die die Erkenntnisse der traditionellen linguistischen Formalisierung, der begrifflichen Semantik, der Gestenforschung, der Peirceschen Semiotik, der Theorie der visuellen Sprache und der unimodalen und multimodalen Lexika in einem einzigen Modell vereint. Dieser Gesamtansatz konfrontiert die traditionellen Vorstellungen von Sprache, die seit mindestens zwei Jahrhunderten Bestand haben, direkt mit einem neuen Paradigma, das die multimodale Natur der menschlichen Kommunikation anerkennt und uns zwingt, uns neu vorzustellen, was Sprache ist und wie sie funktioniert.