Banca de DEFESA: BERNARDO PETERS MENEZES SILVA

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : BERNARDO PETERS MENEZES SILVA
DATA : 13/10/2024
HORA: 14:00
LOCAL: Microsoft Teams
TÍTULO:

DA CONSTRUÇÃO ÀS FUNDAÇÕES SÓLIDAS: EXPLORANDO O APRENDIZADO PROFUNDO PARA CLASSIFICAÇÃO DE CONDIÇÕES DENTAIS EM RADIOGRAFIAS PANORÂMICAS

PALAVRAS-CHAVES:

deep learning; radiografias panorâmicas dentárias; modelos de segmentação por instância; grande modelos de linguagem

PÁGINAS: 110
RESUMO:

As radiografias panorâmicas dentárias não são apenas exames altamente valiosos, mas também versáteis. Elas podem ser utilizadas para diagnosticar perda óssea periodontal, lesões, cistos e tumores, além de estimar a idade e o sexo biológico do paciente. Os trabalhos que aplicam \textit{deep learning} para determinar essas condições em radiografias panorâmicas se baseiam em abordagens supervisionadas que exigem a anotação manual de cada atributo e condição considerada. No entanto, a anotação manual dessas radiografias é exigente, pois demanda mão de obra qualificada, sendo, consequentemente, cara. Este trabalho busca superar essa dificuldade ao explorar o conceito de Human-in-the-Loop, uma técnica de aprendizado semi-supervisionado que acelera o processo de rotulagem por meio de uma interação entre especialistas humanos e modelos de aprendizado de máquina.

Para apoiar essa abordagem, deu-se foco especial aos dentes, por serem os principais objetos de atenção e pontos de referência para os radiologistas ao interpretar radiografias panorâmicas. Como resultado, foi produzido um conjunto de dados para segmentação de instâncias de dentes em radiografias panorâmicas: o conjunto O$^2$PR, contendo 4.000 imagens. Os demais dados do trabalho incluem 4.795 radiografias no conjunto\textit{ Raw Panoramic Radiographs} (RPR), com imagens em formato bruto, e o conjunto \textit{Textual Report Panoramic Radiograph}s (TRPR), contendo 8.029 pares de imagens de radiografias e relatórios textuais. Esses grupos de dados compõem o maior conjunto de dados da literatura. Com base nesses conjuntos, classificamos treze condições dentárias presentes nos dentes ou em seus arredores.

Para classificar todas as condições consideradas, foi necessária uma abordagem holística. Primeiro, utilizamos as radiografias anotadas do conjunto O$^2$PR para treinar uma rede neural de segmentação de instâncias, a fim de pseudo-rotular os dentes nas radiografias não anotadas. Em seguida, todas as imagens dos dentes foram recortadas para facilitar a classificação das condições dentárias. Os conjuntos O$^2$PR e RPR não incluem relatórios textuais, impossibilitando a geração de rótulos para treinamento ou avaliação dessas imagens quanto a condições dentárias. Em vez disso, os recortes de dentes desses conjuntos foram usados para pré-treinar Vision Transformers (que posteriormente foram empregados como redes de classificação para as condições dentárias) por meio de uma técnica de aprendizado autossupervisionado chamada Masked Autoencoders. Essa abordagem se mostrou eficaz, pois permitiu o uso de dados não anotados para melhorar o desempenho.

O procedimento de extração de rótulos segue uma linha diferente. Exploramos a API de um Grande Modelo de Linguagem, o GPT-4, para evitar a rotulagem puramente manual das condições dentárias. O objetivo de sua utilização foi identificar os sintagmas nominais nos relatórios textuais para encontrar as condições dentárias. Em seguida, uma heurística associou cada dente mencionado nas sentenças do relatório a todas as condições dentárias presentes na mesma sentença. Aproveitamos o Vision Transformer pré-treinado para treinar vários modelos de classificação de condições dentárias. De forma encorajadora, os resultados consistentemente atingiram ou superaram as métricas de referência para o coeficiente de correlação de Matthews. A comparação da solução proposta com profissionais humanos, respaldada por análise estatística, destacou sua eficácia e limitações de desempenho; com base no grau de concordância entre especialistas, a solução demonstrou um nível de precisão comparável ao de um especialista júnior.

MEMBROS DA BANCA:
Presidente - 1914064 - LUCIANO REBOUCAS DE OLIVEIRA
Externa ao Programa - 1878113 - FLAVIA CALO DE AQUINO XAVIER - UFBAExterno ao Programa - ***.514.028-** - JOAO PAULO PAPA - UNESP
Externo à Instituição - RODRIGO DE MELO SOUZA VERAS - UFPI
Externo à Instituição - THIAGO OLIVEIRA DOS SANTOS - UFES