Integrando Confiança em Modelos Baseados em Embeddings para Learn-to-Rank em Sistemas de Recomendação
Sistemas de recomendação, Fatoração de matrizes, Redes de atenção em grafos profundos, Estimação de confiança, Incerteza
Os sistemas de recomendação aumentam a eficiência da recuperação de informações em diversos domínios e oferecem conteúdo personalizado alinhado às preferências dos usuários. Eles extraem relações usuário-item por meio de métodos como a fatoração de matrizes e as redes de atenção em grafos (GAT). A literatura apresenta avanços na precisão em tarefas de regressão e ordenação, mas ainda se concentra principalmente no desempenho preditivo, com pouca atenção à utilidade mais ampla da estimativa de confiança. A estimativa de confiança é essencial para quantificar a certeza das recomendações, especialmente quando é necessário equilibrar risco e recompensa. Ela permite mitigar incertezas decorrentes do ruído nos dados e das limitações do modelo. No entanto, abordagens existentes enfrentam limitações importantes: métodos paramétricos sofrem risco de não convergência, flexibilidade reduzida na modelagem da incerteza e degradação frequente da precisão; técnicas não paramétricas, como a calibração probabilística com redes neurais, permanecem restritas a tarefas de classificação e não contemplam cenários de regressão, como a previsão de notas ou o aprendizado para ranqueamento. Além disso, muitos modelos de confiança operam de forma independente do modelo principal de recomendação, o que prejudica a capacidade de refletir adequadamente o nível real de certeza. A literatura também negligencia a integração de confiança em modelos baseados em GAT e carece de avaliações experimentais comparativas de métodos baseados em distribuições. Diante dessas lacunas, este estudo propõe uma avaliação experimental de métodos anteriores baseados em distribuição e investiga uma integração adequada de confiança em modelos baseados em GAT. Avaliamos quatro soluções existentes quanto à precisão na previsão de notas, à precisão de ordenação e à correlação entre confiança e erro, utilizando conjuntos de dados públicos com diferentes características. Os resultados mostram que a integração de confiança baseada na distribuição frequentemente reduz a precisão e ainda oferece margem para melhorias na correlação confiança-erro. Embora essas conclusões também se apliquem ao nosso método, ele apresenta desempenho superior ao de todas as soluções anteriores e obtém resultados promissores de correlação negativa entre confiança e erro. Na segunda parte do estudo, propomos e avaliamos a integração de confiança em métodos de aprendizado de ranqueamento. Essa proposta, bem como os modelos de referência, é avaliada em múltiplos conjuntos de dados e com múltiplas métricas de ordenação. Os resultados indicam que o método proposto mantém desempenho competitivo e supera os modelos de referência em alguns cenários. Assim, a integração de confiança na tarefa de previsão de notas não compromete significativamente o desempenho do modelo. Além disso, identificamos uma relação polinomial cúbica entre a confiança e o erro.