論文の概要: Beyond Correlations: A Downstream Evaluation Framework for Query Performance Prediction

• arxiv url: http://arxiv.org/abs/2601.17339v1
• Date: Sat, 24 Jan 2026 06:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.605805
• Title: Beyond Correlations: A Downstream Evaluation Framework for Query Performance Prediction
• Title（参考訳）: Beyond correlations: クエリパフォーマンス予測のためのダウンストリーム評価フレームワーク
• Authors: Payel Santra, Partha Basuchowdhuri, Debasis Ganguly,
• Abstract要約: クエリ性能予測(QPP)評価の標準的な実践は、推定された検索品質と真の結果とのセットレベル相関を測定することである。 本稿では、複数のランク付けで検索した上位文書の一覧からQPP推定値の分布をIR融合の先行値として用いる下流焦点評価フレームワークを提案する。 一方、これらの推定値の分布は、真の検索特性と密に一致し、予測器の品質を示す一方で、先行値としての使用は、予測器がIRパイプラインで情報的選択を行う能力を示す。
• 参考スコア（独自算出の注目度）: 10.378957672522157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard practice of query performance prediction (QPP) evaluation is to measure a set-level correlation between the estimated retrieval qualities and the true ones. However, neither this correlation-based evaluation measure quantifies QPP effectiveness at the level of individual queries, nor does this connect to a downstream application, meaning that QPP methods yielding high correlation values may not find a practical application in query-specific decisions in an IR pipeline. In this paper, we propose a downstream-focussed evaluation framework where a distribution of QPP estimates across a list of top-documents retrieved with several rankers is used as priors for IR fusion. While on the one hand, a distribution of these estimates closely matching that of the true retrieval qualities indicates the quality of the predictor, their usage as priors on the other hand indicates a predictor's ability to make informed choices in an IR pipeline. Our experiments firstly establish the importance of QPP estimates in weighted IR fusion, yielding substantial improvements of over 4.5% over unweighted CombSUM and RRF fusion strategies, and secondly, reveal new insights that the downstream effectiveness of QPP does not correlate well with the standard correlation-based QPP evaluation.
• Abstract（参考訳）: クエリ性能予測(QPP)評価の標準的な実践は、推定された検索品質と真の結果とのセットレベル相関を測定することである。 しかし、この相関に基づく評価尺度は、個々のクエリのレベルでQPPの有効性を定量化したり、下流アプリケーションに接続したりしない。 本稿では,複数のランクで検索したトップ文書の一覧からQPP推定値の分布をIR融合の先行値として用いる下流焦点評価フレームワークを提案する。 一方、これらの推定値の分布は、真の検索特性と密に一致し、予測器の品質を示す一方で、先行値としての使用は、予測器がIRパイプラインで情報的選択を行う能力を示す。 まず、重み付きIR核融合におけるQPP推定の重要性を立証し、非重み付きCombSUMおよびRF核融合戦略よりも4.5%以上の実質的な改善を実現し、第二に、QPPの下流効果が標準相関に基づくQPP評価と相関しないという新たな知見を明らかにした。

関連論文リスト

• Predicting Retrieval Utility and Answer Quality in Retrieval-Augmented Generation [24.439170886636788]
  RAGの改善の鍵となる課題は、検索した文書の有用性と最終回答の品質の両方を、正確性と妥当性の観点から予測することである。 RAG内では,検索性能予測と生成性能予測という2つの予測タスクを定義している。 入力クエリに条件付けされた検索コンテキストのLLMの難易度など、読者中心の機能は、予測精度をさらに高めることができると論じる。
  論文  参考訳（メタデータ） (2026-01-20T23:59:54Z)
• Conformal Information Pursuit for Interactively Guiding Large Language Models [68.16703423481935]
  本稿では,クエリ数の最小化を目的としたシーケンシャルクエリ戦略について検討する。 そのような戦略の1つは情報探索(IP)であり、各反復で情報ゲインを最大化または同等に不確実性を最小化するクエリを選択する。 本稿では,コンフォーマル情報探索法(C-IP)を提案する。
  論文  参考訳（メタデータ） (2025-07-04T03:55:39Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
  クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。 アドホック検索におけるQPPの有効性と有用性について検討した。 その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
  論文  参考訳（メタデータ） (2023-05-18T12:37:01Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。