Com o avanço das tecnologias, como modelos de inteligência artificial, a acessibilidade também precisa acompanhar esse desenvolvimento. Uma pesquisa realizada na Universidade Federal de Lavras (UFLA) investigou como pessoas surdas que utilizam o português como segunda língua se comunicam com chatbots e propôs estratégias para tornar esses sistemas mais eficazes e inclusivos.

O estudo verificou que é comum que pessoas surdas que utilizam a Língua Brasileira de Sinais (Libras) como primeira língua, ao necessitarem escrever em português, façam uma tradução das palavras e gestos. Essa técnica é chamada de Glosa, sendo bastante utilizada por intérpretes e estudantes de Libras. No entanto, como a Glosa não é um sistema oficial de escrita, a tradução entre Libras e português nem sempre ocorre de forma direta, o que pode alterar o sentido da mensagem.

Em um estudo preliminar foram simuladas interações entre pessoas surdas e chatbots de quatro diferentes redes bancárias, para verificar se o sistema de software por trás desse agente conversacional seria capaz de interpretar o texto escrito utilizando a Glosa e fornecer respostas adequadas, como se a pessoa estivesse escrevendo o português convencional. Os resultados mostraram que os chatbots apresentaram mais dificuldades para compreender esse tipo de escrita, respondendo com frequência mensagens como “Desculpe, não entendi”.

Os modelos de inteligência artificial baseiam-se em estatística e probabilidade. Para que ele gere informações cada vez mais precisas, é necessário que a IA passe por um treinamento específico, o que é chamado de fine-tuning (ajuste fino) na computação.

Após a análise com chatbots comerciais, os pesquisadores verificaram a capacidade de outros modelos de linguagem na interpretação de textos na Glosa, sem fine-tuning, identificando suas características e limitações. O resultado apontou que a acurácia dos modelos, ou seja, o grau de exatidão nas respostas, era inferior a 49%.

Em seguida, utilizando o ChatGPT e o Gemini, modelos de inteligência artificial amplamente conhecidos, os pesquisadores geraram uma base de dados com cerca de 55.000 conversas no formato da escrita de Glosa, com o intuito de treinar os mesmos modelos de linguagem que haviam sido avaliados anteriormente. Nessa etapa foi investigado o impacto do fine-tuning em diferentes configurações na adaptação dos modelos para compreender textos em Glosa. 

Os modelos treinados foram o Qwen2.5-7B, o Qwen2.5-14B, o Phi-4-14B, o Llama-3.1-8B, o Llama-3.2-3B e o Zephyr-7B, que são gratuitos e podem ser usados localmente no computador. Aquele que obteve o melhor desempenho final em porcentagem foi o Qwen2.5-14B, que alcançou uma média de 54,6% de acerto, com treinamento de sete horas e 48 minutos. Já o que obteve maior ganho percentual foi o Phi-4-14B, que antes do treinamento apresentava uma taxa de acerto de 0,01% e, após o fine-tuning, chegou a 53,6%, com 11 horas e 57 minutos de treino.

Além da comparação de antes e depois da IA interpretando textos escritos em Glosa, comparou-se o desempenho desse tipo de escrita ao texto em português convencional e ao inglês. Mesmo com treinamento, textos em Glosa ainda apresentam desempenho pior. A acurácia dos modelos de IA chegam a 68,5% no caso de textos em inglês, e a 57% em português, utilizando-se o modelo Qwen2.5-7B, sem o ajuste fino.

“Percebemos que o desempenho com a Glosa ainda não é o ideal, há perda de eficácia nas respostas. Porém o treinamento já contribui para melhores resultados, ao invés de usarmos modelos genéricos”, afirma o professor do Instituto de Ciências Exatas e Tecnológicas (Icet/UFLA) Denilson Alves Pereira, orientador do estudo.

Equipe de pesquisa

A pesquisa é fruto do trabalho desenvolvido por Anna Paula Figueiredo Gonçalves durante o Programa de Pós-Graduação em Ciência da Computação (PPGCC/UFLA), em que obteve o título de mestre, e coordenado pelos professores do Instituto de Ciências Exatas e Tecnológicas (Icet/UFLA) Denilson Alves Pereira e André Pimenta Freire.

A pesquisa foi desenvolvida por meio de uma parceria entre o Laboratório de Recuperação de Informação (LabRI) e o Núcleo de Pesquisa em Acessibilidade, Usabilidade e Linguística Computacional (Alcance), ambos lotados no Departamento de Ciência da Computação (DCC/UFLA).

Nesse primeiro momento, o estudo foi conduzido por meio de simulações de interações com os chatbots. A previsão é que, futuramente, sejam realizados testes envolvendo usuários reais. Isso pode trazer uma melhora significativa para os resultados gerados pelos modelos de IA, mas também representa um desafio para os pesquisadores.

De acordo com o Instituto Brasileiro de Geografia e Estatística (IBGE), cerca de 5% da população brasileira apresenta algum grau de perda auditiva, o que faz com que as pessoas surdas sejam um grupo minoritário na sociedade.  A partir dessa realidade, encontrar textos escritos por pessoas surdas se torna mais difícil. “São necessários milhares de dados para treinar uma IA. O modelo de linguagem que não tem uma base de treinamento com textos de pessoas surdas, consequentemente, não apresenta um bom desempenho na hora de reconhecer um texto do jeito que essas pessoas escrevem”, comenta André.

Atualmente, segundo os professores, é bastante abordado no meio da computação o desenvolvimento de sistemas centrados no ser humano. De acordo com Denilson, “os resultados da pesquisa podem ser usados por empresas e desenvolvedores para que produtos sejam criados, beneficiando a sociedade, e chegando até grupos minoritários, que muitas vezes são excluídos”.

O estudo completo, intitulado “Avaliação de modelos de linguagem para criação de chatbots para a comunicação com pessoas surdas que usam o português como segunda língua”, está disponível no Repositório Institucional da UFLA.

Esse conteúdo de popularização da ciência foi produzido com o apoio da Fundação de Amparo à Pesquisa de Minas Gerais - Fapemig.