Ruchy gałek ocznych i gesty jako korelaty przetwarzania języka w tłumaczeniu konsekutywnym i symultanicznym
Loading...
Date
2016
Authors
Editor
Journal Title
Journal ISSN
Volume Title
Publisher
Title alternative
Eye movements and gestures as correlates of language processing in consecutive and simultaneous interpreting
Abstract
Tłumaczenie ustne wydaje się być z pozoru oparte przede wszystkim na słuchaniu i odtwarzaniu treści. Tymczasem zarówno tłumaczenie symultaniczne, jak i konsekutywne wymaga jednoczesnego przeprowadzania kilku operacji poznawczych. Samo przetwarzanie języka w przekładzie ustnym to wielomodalny, niezwykle złożony proces wymagający od tłumacza optymalnego zarządzania zasobami poznawczymi i wypracowania strategii radzenia sobie z obciążeniem kognitywnym. Wysiłek mentalny, który stale towarzyszy przetwarzaniu języka w przekładzie, może ulec zwiększeniu kiedy w tekście źródłowym pojawią się elementy szczególnie wymagające dla tłumacza (z j. angielskiego „problem triggers”, Gile 2009), takie jak liczby, czy listy. Podczas ich przekładu tłumacze mogą częściej niż zazwyczaj korzystać z gestykulacji, a ich wysiłek poznawczy jest mierzalny również za pomocą parametrów okulograficznych. Niezależnie od wysiłku poznawczego, na aktywność percepcyjno-motoryczną tłumaczy może wpływać również treść przekładanego tekstu oraz zgodność semantyczna bodźców wielomodalnych. Aktywność ta zmienia się także wraz z doświadczeniem zawodowym, jako że doświadczeni tłumacze ustni zachowują się inaczej niż przyszli adepci przekładu (Lambert 2004).
Niniejsza praca dotyczy związku gestykulacji oraz ruchów gałek ocznych tłumacza z przetwarzaniem języka w tłumaczeniu symultanicznym i konsekutywnym. Głównym celem przeprowadzonego badania było stwierdzenie, czy rytmiczne gesty, tzw. batuty, oraz ruchy gałek ocznych zmieniają się pod wpływem obciążenia poznawczego, związanego z obecnością liczb i list w tekście źródłowym. W tym celu, w dwóch grupach badanych, tj. wśród zawodowych tłumaczy konferencyjnych oraz studentów przekładu, zmierzono średnią długość fiksacji oraz policzono średnią liczbę batut na minutę podczas tłumaczenia liczb, list oraz elementów narracji, które służyły jako bodźce kontrolne. Badanie miało również na celu sprawdzenie wpływu zgodności semantycznej między bodźcami wzrokowymi i słuchowymi na aktywność wzrokową tłumaczy. Aby zweryfikować ww. wpływ u tłumaczy obliczono średnią liczbę fiksacji na sekundę, traktowaną w pracy jako miarę uwagi wzrokowej, podczas tłumaczenia bodźców wielomodalnych o różnym stopniu zgodności semantycznej, oraz porównano stopień tego wpływu na średnią liczbę fiksacji na sekundę w dwóch grupach badanych. Wyniki eksperymentu wykazały, że zarówno w tłumaczeniu symultanicznym, jak i konsekutywnym, w obu grupach badanych, poziom obciążenia poznawczego modyfikował średnią długość fiksacji oraz średnią liczbę batut na minutę. Z kolei średnia liczba fiksacji na sekundę zmieniała się wraz ze stopniem zgodności semantycznej przetwarzanych bodźców wzrokowych i słuchowych. Wyniki badania wskazują na związek między aktywnością percepcyjno-motoryczną tłumaczy a przetwarzaniem języka w tłumaczeniu symultanicznym i konsekutywnym.
At first sight, interpreting consists mainly of listening and speaking, while in fact both simultaneous and consecutive modes are composed of a set of concurrently performed cognitive operations. Language processing in interpreting is itself a complex, multimodal activity, requiring good effort management and coping strategies. Additionally, the general cognitive load interpreters face can be temporarily increased by the presence of what Gile (2009) calls “problem triggers”. These elements of the source text that contribute to the level of cognitive load include numbers and lists (Gile 2009). The effort interpreters make to decrease the cognitive effort is observable in their bodily activities, executed as a sort of coping strategy or “emergency reaction”, which might differ in professionals and trainees (as shown by Lambert 2004). At the same time, visuomotor activities that accompany language processing in interpreting can be influenced not only by the level of cognitive effort, but also by the linguistic and non-linguistic content that is currently processed. Such activities include eye movements and gestures. The relationship between eye movements or gestures and language processing is what this thesis focuses on. The main aim of the dissertation is to demonstrate that eye movements and gestures can be treated as correlates of language processing in consecutive and simultaneous interpreting. First, the study verifies if eye movements and beat gestures change with the level of local cognitive load in interpreting. Mean fixation duration and mean number of beat gestures per minute are calculated in two groups: professional interpreters and interpreting trainees, when these groups interpret numbers, lists and control items in the simultaneous and consecutive modes. Another aim of the study is to test the effect of cross-modal congruence on eye movements. Mean fixation count per second is used as a measure of the participants’ visual reaction to congruent and incongruent, linguistic and non-linguistic cross-modal input. The results of the study show that in both of the interpreting modes, and in both groups, mean fixation duration and the mean number of gestures per minute changed depending on the level of cognitive effort related to processing numbers and lists. In addition to that, mean fixation count per second was affected by the level of congruence between the auditory (linguistic) and visual (non-linguistic) stimuli. In short, the outcome of the study shows that the visuomotor activities executed by interpreters co-occur with the level of their cognitive effort in interpreting, and that they change depending on the semantic similarity between cross-modal stimuli. Based on the results, it was concluded that eye movements and gestures can be treated as correlates of language processing in conference interpreting.
At first sight, interpreting consists mainly of listening and speaking, while in fact both simultaneous and consecutive modes are composed of a set of concurrently performed cognitive operations. Language processing in interpreting is itself a complex, multimodal activity, requiring good effort management and coping strategies. Additionally, the general cognitive load interpreters face can be temporarily increased by the presence of what Gile (2009) calls “problem triggers”. These elements of the source text that contribute to the level of cognitive load include numbers and lists (Gile 2009). The effort interpreters make to decrease the cognitive effort is observable in their bodily activities, executed as a sort of coping strategy or “emergency reaction”, which might differ in professionals and trainees (as shown by Lambert 2004). At the same time, visuomotor activities that accompany language processing in interpreting can be influenced not only by the level of cognitive effort, but also by the linguistic and non-linguistic content that is currently processed. Such activities include eye movements and gestures. The relationship between eye movements or gestures and language processing is what this thesis focuses on. The main aim of the dissertation is to demonstrate that eye movements and gestures can be treated as correlates of language processing in consecutive and simultaneous interpreting. First, the study verifies if eye movements and beat gestures change with the level of local cognitive load in interpreting. Mean fixation duration and mean number of beat gestures per minute are calculated in two groups: professional interpreters and interpreting trainees, when these groups interpret numbers, lists and control items in the simultaneous and consecutive modes. Another aim of the study is to test the effect of cross-modal congruence on eye movements. Mean fixation count per second is used as a measure of the participants’ visual reaction to congruent and incongruent, linguistic and non-linguistic cross-modal input. The results of the study show that in both of the interpreting modes, and in both groups, mean fixation duration and the mean number of gestures per minute changed depending on the level of cognitive effort related to processing numbers and lists. In addition to that, mean fixation count per second was affected by the level of congruence between the auditory (linguistic) and visual (non-linguistic) stimuli. In short, the outcome of the study shows that the visuomotor activities executed by interpreters co-occur with the level of their cognitive effort in interpreting, and that they change depending on the semantic similarity between cross-modal stimuli. Based on the results, it was concluded that eye movements and gestures can be treated as correlates of language processing in conference interpreting.
Description
Wydział Anglistyki
Sponsor
Keywords
tłumaczenie symultaniczne, simultaneous interpreting, tłumaczenie konsekutywne, consecutive interpreting, ruchy gałek ocznych, eye movements, gesty, gestures, przetwarzanie języka, language processing