Choisir la meilleure configuration d'un système de recherche d'information

Abstract

Les campagnes telles que Text REtrieval Conference (TREC) offrent un cadre qui permet d'évaluer des systèmes de recherche d'information (RI). L'évaluation utilise des mesures qui se basent sur une moyenne des résultats obtenus pour un ensemble de besoins en information: les succès et échecs sur chacun des besoins sont masqués. Dans un premier temps, cet article propose une analyse qui prend en compte la diversité des résultats et qui a pour but de sélectionner le système de RI le plus apte à traiter les besoins selon leur difficulté. L'évaluation montre un gain maximal en robustesse de 68% et de 10% sur les performances. Dans un second temps, nous montrons qu'il est possible d'apprendre la meilleure configuration de système en s'appuyant sur un sous-ensemble de documents dont la pertinence est connue.