論文の概要: Predicting Retrieval Utility and Answer Quality in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2601.14546v1
• Date: Tue, 20 Jan 2026 23:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.186307
• Title: Predicting Retrieval Utility and Answer Quality in Retrieval-Augmented Generation
• Title（参考訳）: 検索型世代における検索実用性と回答品質の予測
• Authors: Fangzheng Tian, Debasis Ganguly, Craig Macdonald,
• Abstract要約: RAGの改善の鍵となる課題は、検索した文書の有用性と最終回答の品質の両方を、正確性と妥当性の観点から予測することである。 RAG内では,検索性能予測と生成性能予測という2つの予測タスクを定義している。 入力クエリに条件付けされた検索コンテキストのLLMの難易度など、読者中心の機能は、予測精度をさらに高めることができると論じる。
• 参考スコア（独自算出の注目度）: 24.439170886636788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quality of answers generated by large language models (LLMs) in retrieval-augmented generation (RAG) is largely influenced by the contextual information contained in the retrieved documents. A key challenge for improving RAG is to predict both the utility of retrieved documents -- quantified as the performance gain from using context over generation without context -- and the quality of the final answers in terms of correctness and relevance. In this paper, we define two prediction tasks within RAG. The first is retrieval performance prediction (RPP), which estimates the utility of retrieved documents. The second is generation performance prediction (GPP), which estimates the final answer quality. We hypothesise that in RAG, the topical relevance of retrieved documents correlates with their utility, suggesting that query performance prediction (QPP) approaches can be adapted for RPP and GPP. Beyond these retriever-centric signals, we argue that reader-centric features, such as the LLM's perplexity of the retrieved context conditioned on the input query, can further enhance prediction accuracy for both RPP and GPP. Finally, we propose that features reflecting query-agnostic document quality and readability can also provide useful signals to the predictions. We train linear regression models with the above categories of predictors for both RPP and GPP. Experiments on the Natural Questions (NQ) dataset show that combining predictors from multiple feature categories yields the most accurate estimates of RAG performance.
• Abstract（参考訳）: 検索拡張生成(RAG)における大言語モデル(LLM)による回答の質は,検索した文書に含まれる文脈情報に大きく影響される。 RAGを改善する上で重要な課題は、検索したドキュメントの実用性 -- コンテキストなしのコンテキストオーバージェネレーションによるパフォーマンス向上として定量化された -- と、正確性と関連性の観点から最終回答の品質の両方を予測することである。 本稿では,RAG内の予測タスクを2つ定義する。 1つ目は検索性能予測(RPP)であり、検索した文書の有用性を推定する。 2つ目は生成性能予測(GPP)であり、最終回答の品質を推定する。 RAGでは,検索した文書のトピック的関連性はそれらのユーティリティと相関し,クエリ性能予測(QPP)アプローチがRCPやGPPに適用可能であることを示唆している。 これらのレトリバー中心の信号以外にも、入力クエリに条件付けされた検索コンテキストのLLMのパープレクシリティのような読者中心の特徴は、RPPとGPPの予測精度をさらに高めることができると論じている。 最後に,クエリ非依存の文書品質と可読性を反映した特徴が,予測に有用な信号となることを提案する。 RPPとGPPの両方の予測器のカテゴリで線形回帰モデルを訓練する。 自然質問データセット(NQ)の実験では、複数の特徴カテゴリの予測器を組み合わせることで、RAGのパフォーマンスの最も正確な推定値が得られる。

関連論文リスト

• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing [3.463527836552468]
  本稿では,最先端QPP(NQC,UQC)の総合評価を行う。 我々は、多様なスパースローダ(BM25、DFree、クエリ拡張なし)とハイブリッドまたは高密度(SPLADE、ColBert)と多様なテストコレクションROBUST、GOV2、WT10G、MS MARCOを使用します。 結果は予測器の精度に有意なばらつきを示し, コレクションを主要因とし, 次にランク付けを行う。
  論文  参考訳（メタデータ） (2025-04-01T18:18:21Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。