Banca de DEFESA: LARA TOLEDO CORDEIRO OTTONI

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : LARA TOLEDO CORDEIRO OTTONI
DATA : 04/10/2024
HORA: 09:00
LOCAL: https://us02web.zoom.us/j/89785133180?pwd=pGJBLQh9csArDCXNA1v5NLF3DV6ZBh.1
TÍTULO:

SISTEMA PARA RECONHECIMENTO DE EMOÇÃO MULTIMODAL E MULTICLASSE PARA INTERAÇÃO HUMANO-ROBÔ

PALAVRAS-CHAVES:

Reconhecimento de Emoção; Sistema Multimodal; Interação Humano-Robô; Aprendizado de Máquina; Sistema Fuzzy;

PÁGINAS: 176
RESUMO:

O desafio da Interação Humano-Robô (IHR) é construir sistemas inteligentes que possam se adaptar às mudanças dos usuários e do ambiente, a fim de melhorar a interação em tempo real. Desta forma, uma abordagem crescente é o uso de emoções na IHR. Neste sentido, existem os sistemas de reconhecimento de emoção multimodal, no qual, realiza a classificação das emoções em várias modalidades (expressão facial, gestos, fala, e outros). No entanto, embora existam estudos que tratam do reconhecimento multimodal de emoções, eles ainda apresentam limitações na metodologia da classificação das emoções, além de considerar as emoções como binárias e ignorando as várias emoções que podem estar presentes no usuário. Assim, o objetivo deste trabalho é propor um sistema de reconhecimento de emoções multimodal e multiclasse para a interação humano-robô. É proposto o uso das modalidades de expressão facial e fala, assim como a fusão das emoções. O Módulo de Reconhecimento de Emoção pela Fala (MREF) é responsável por inferir a emoção na fala do usuário, no qual é utilizado um modelo de aprendizado profundo para classificar a emoção. Também é proposto o Módulo de Reconhecimento de Emoção pela Expressão Facial (MREEF), que classifica a emoção pela face do usuário utilizando rede neural convolucional (RNC). Por fim, propõe-se a fusão das emoções reconhecidas utilizando sistema nebuloso. Ao o sistema proposta utilizando a base de dados MELD, apenas o uso do MREF alcançou uma acurácia de 73%, o MREEF 78,06% e a fusão dos módulos alcançou uma acurácia de 78,94%.

MEMBROS DA BANCA:
Presidente - 1324661 - JES DE JESUS FIAIS CERQUEIRA
Interno - 2530359 - ANTONIO CARLOS LOPES FERNANDES JUNIOR
Externo à Instituição - MARIANA SCHIAVO NETTO
Externo à Instituição - ADRIÃO DUARTE DÓRIA NETO - UFRN
Externo à Instituição - MARCOS YUZURU DE OLIVEIRA CAMADA - IFBaiano