Ouvir com os olhos – Um estilo ocidental de percepção da fala

O movimento labial afeta nossa percepção das informações transmitidas pela fala quando conversamos com alguém, mas os japoneses nativos são menos afetados. Uma pesquisa recente do Japão revelou uma clara diferença na ativação da rede cerebral entre dois grupos de pessoas, nativos americanos e nativos japoneses, durante uma conversa face-a-face.

Os pesquisadores da Universidade de Kumamoto avaliaram o efeito McGurk (saiba mais no fim deste artigo) entre nativos americanos e nativos japoneses e descobriram uma diferença principal: os nativos americanos "ouvem com seus olhos" enquanto os nativos japoneses usam apenas seus ouvidos. Os dois grupos foram avaliados com testes de áudio e vídeo além de testes contendo apenas áudio.

Como dito anteriormente, as informações visuais da fala afetam a percepção auditiva que temos dela, como por exemplo, o movimento dos lábios podem ajudar alguém a ouvir melhor quando está em um ambiente com muito ruído, isto chama-se "efeito coquetel". Porém se o caso fosse oposto, como em um filme dublado onde o movimento dos lábios entra em conflito com a voz que sai pelos alto-falantes, daria ao ouvinte a ilusão de ter escutado outro som.

Para analisar ainda mais esta diferença entre os nativos americanos e nativos japoneses, os pesquisadores da Universidade de Kumamoto mediram e analisaram padrões de olhar, ondas cerebrais e tempos de reação para a identificação da fala para dois grupos de 20 japoneses nativos e 20 nativos americanos.

A diferença foi clara. Quando o discurso era apresentado simultaneamente com o movimento dos lábios, nativos americanos voltavam seu olhar para os lábios do locutor antes do surgimento de qualquer som. O olhar de nativos japoneses, no entanto, não é tão fixo. Por aliar as informações auditivas com as informações visuais, os nativos americanos foram capazes de entender a fala mais rapidamente que nativos japoneses.

Os pesquisadores da Universidade de Kumamoto se uniram a pesquisadores da Universidade Médica de Sapporo e do Instituto de Pesquisas de Telecomunicações Avançadas do Japão para medir e analisar os padrões de ativação cerebral usando ressonância magnética funcional. Seu objetivo era elucidar as diferenças na atividade cerebral entre as duas línguas.

A conectividade funcional no cérebro entre a área que lida com a audição e a área que lida com informações de movimento visual, as áreas temporais auditiva primária e média, respectivamente, foi mais forte em nativos americanos do que em nativos japoneses. Este resultado sugere fortemente que as informações auditivas e visuais estão associadas uma à outra na fase inicial do processamento da informação no cérebro de um nativo americano, enquanto a associação é feita numa fase posterior no cérebro de um nativo japones. A conectividade funcional entre a informação auditiva e visual e a maneira como os dois tipos de informação são processados em conjunto, mostrou ser claramente diferente entre os dois falantes de diferentes línguas.

"Foi dito que os materiais de vídeo produzem melhores resultados ao estudar uma língua estrangeira, no entanto, também foi relatado que os materiais de vídeo não têm um efeito muito positivo para falantes nativos japoneses".

Professor Kaoru Sekiyama, chefe da pesquisa.

O Efeito McGurk

O efeito McGurk é um fenômeno que demonstra a interação entre a audição e visão na percepção da fala. A ilusão sonora consiste na apresentação de uma dublagem que induz o indivíduo a acreditar que ouve um fonema, quando na verdade está ouvindo outro.

Um dos exemplos mais antigos e consistentes de percepção multissensorial é conhecido como o efeito McGurk, relatado pela primeira vez por Harry McGurk e John MacDonald em 1976. Se você assistir a um vídeo de alguém pronunciando repetida e silenciosamente a sílaba "ga" enquanto ouve uma gravação da mesma pessoa dizendo a sílaba "ba", vai ouvi-la dizendo "da". As sílabas silenciosas “ga” mudam sua percepção das sílabas audíveis "ba" porque o cérebro integra o que o corpo ouve e vê. Um fato curioso é que o efeito McGurk funciona em todos os idiomas e continua a funcionar, independentemente do número de vezes que a pessoa tenha participado do experimento.

Fontes:

Audiology Online

Mente Cérebro