SISTEMA PARA RECONHECIMENTO DE EMOÇÃO MULTIMODAL E MULTICLASSE PARA INTERAÇÃO HUMANO-ROBÔ
Reconhecimento de Emoção; Sistema Multimodal; Interação Humano-Robô; Aprendizado de Máquina; Sistema Fuzzy;
O desafio da Interação Humano-Robô (IHR) é construir sistemas inteligentes que possam se adaptar às mudanças dos usuários e do ambiente, a fim de melhorar a interação em tempo real. Desta forma, uma abordagem crescente é o uso de emoções na IHR. Neste sentido, existem os sistemas de reconhecimento de emoção multimodal, no qual, realiza a classificação das emoções em várias modalidades (expressão facial, gestos, fala, e outros). No entanto, embora existam estudos que tratam do reconhecimento multimodal de emoções, eles ainda apresentam limitações na metodologia da classificação das emoções, além de considerar as emoções como binárias e ignorando as várias emoções que podem estar presentes no usuário. Assim, o objetivo deste trabalho é propor um sistema de reconhecimento de emoções multimodal e multiclasse para a interação humano-robô. É proposto o uso das modalidades de expressão facial e fala, assim como a fusão das emoções. O Módulo de Reconhecimento de Emoção pela Fala (MREF) é responsável por inferir a emoção na fala do usuário, no qual é utilizado um modelo de aprendizado profundo para classificar a emoção. Também é proposto o Módulo de Reconhecimento de Emoção pela Expressão Facial (MREEF), que classifica a emoção pela face do usuário utilizando rede neural convolucional (RNC). Por fim, propõe-se a fusão das emoções reconhecidas utilizando sistema nebuloso. Ao o sistema proposta utilizando a base de dados MELD, apenas o uso do MREF alcançou uma acurácia de 73%, o MREEF 78,06% e a fusão dos módulos alcançou uma acurácia de 78,94%.