論文の概要: Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2609.16453v1
• Date: Tue, 15 Sep 2026 00:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.274378
• Title: Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation
• Title（参考訳）: エージェント検索型世代における部分回答品質と実用性予測
• Abstract要約: 本稿では,エージェントRAGにおける中間応答状態を研究するための軌道内探索フレームワークを提案する。 各イテレーションにおける部分回答品質と、イテレーション間の部分回答品質の変化としての部分ユーティリティの2つのイテレーションレベル尺度を定義します。 実験の結果、部分答えの品質は部分効用よりも予測可能であり、品質予測のためにパーソンの r が 0.43 以上に達することが示されている。
• 参考スコア（独自算出の注目度）: 24.439170886636788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic Retrieval-Augmented Generation (RAG) has become a promising paradigm for multi-hop question answering, where a reasoning model iteratively issues queries to a retriever and incorporates newly retrieved context into subsequent reasoning steps. While this iterative process can improve final answer quality, current evaluations of agentic RAG largely focus on end-to-end outcomes and provide limited visibility into how a model's answer state changes during generation. In this work, we introduce an in-trajectory probing framework to study intermediate answer states in agentic RAG. Specifically, after each retrieval-reasoning iteration, we force an agentic model to stop reasoning and generate an intermediate answer based on its current state. This allows us to define two iteration-level measures: partial answer quality at each iteration, and partial utility as the change in partial answer quality across iterations. Our analysis across multi-hop QA benchmarks reveals that partial answer quality often plateaus before natural termination, with many later iterations contributing only small measurable improvements. Accordingly, we formulate two prediction tasks, partial answer quality prediction and partial utility prediction, and study trajectory-derived signals from intra-iteration, inter-iteration, and query-iteration perspectives. Experiments show that partial answer quality is more predictable than partial utility, with supervised models achieving Pearson's r above 0.43 for quality prediction. Finally, using predicted answer quality and utility for early stopping reduces average iteration count by about 11% while preserving about 98% of the final answer quality achieved by natural stopping.
• Abstract（参考訳）: エージェント検索型拡張生成(RAG)は,検索者に対してクエリを反復的に発行し,新たに取得したコンテキストをその後の推論ステップに組み込むマルチホップ質問応答において,有望なパラダイムとなっている。 この反復的なプロセスは最終的な回答の品質を改善することができるが、エージェントRAGの現在の評価は、主にエンドツーエンドの結果に焦点を当て、生成中のモデルの回答状態がどのように変化するかについて、限られた可視性を提供する。 本研究では,エージェントRAGにおける中間応答状態を研究するための軌道内探索フレームワークを提案する。 具体的には,検索待ち繰り返しの後にエージェントモデルに推論を停止させ,その状態に基づいて中間応答を生成する。 これにより、各イテレーションにおける部分回答品質と、イテレーション間の部分回答品質の変化としての部分ユーティリティの2つのイテレーションレベル尺度を定義することができます。 マルチホップQAベンチマークを用いて分析したところ、部分回答の品質は自然終了前に高められ、後続の繰り返しは小さな測定可能な改善にしか寄与しないことがわかった。 そこで我々は,部分解答品質予測と部分効用予測という2つの予測タスクを定式化し,トラジェクタから得られる信号について検討した。 実験の結果、部分答えの品質は部分効用よりも予測可能であり、品質予測のためにパーソンの r が 0.43 以上に達することが示されている。 最後に、早期停止のために予測された回答品質とユーティリティを使用することで、自然停止によって達成される最終回答品質の98%を保ちながら、平均イテレーション回数を約11%削減する。

関連論文リスト

• ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling [62.983372215479925]
  ストリーミングと生成システムは、部分的なオーディオから漸進的な推定を必要とする。 多分解能オートレタスクとしてインクリメンタルアセスメントを改良したANCHORを提案する。 2秒プレフィックスの48%のPLCMOSエラー削減を含む、部分入力下でのかなりの堅牢性を示す実験。
  論文  参考訳（メタデータ） (2026-06-08T22:46:30Z)
• Large Language Models Decide Early and Explain Later [47.20810161393936]
  本研究では, 強制解の完成度を用いた推理段階における予測解の進化について検討する。 プローブベースの停止を含むシンプルさは、クエリ毎の推論トークン使用量を500トークン削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-24T06:26:24Z)
• Evaluate-as-Action: Self-Evaluated Process Rewards for Retrieval-Augmented Agents [24.080021799509847]
  textscEvalAct (Evaluate-as-Action) は暗黙的な検索品質評価を明示的なアクションに変換する。 textscEvalActは、マルチホップタスクにおいて最も高い平均精度を達成する。
  論文  参考訳（メタデータ） (2026-03-10T05:22:40Z)
• Predicting Retrieval Utility and Answer Quality in Retrieval-Augmented Generation [24.439170886636788]
  RAGの改善の鍵となる課題は、検索した文書の有用性と最終回答の品質の両方を、正確性と妥当性の観点から予測することである。 RAG内では,検索性能予測と生成性能予測という2つの予測タスクを定義している。 入力クエリに条件付けされた検索コンテキストのLLMの難易度など、読者中心の機能は、予測精度をさらに高めることができると論じる。
  論文  参考訳（メタデータ） (2026-01-20T23:59:54Z)
• Finding Answers in Thought Matters: Revisiting Evaluation on Large Language Models with Reasoning [23.867629719024325]
  本稿では,アンサー・リジェネレーション (Answer Regeneration) という基本フレームワークを提案する。 このメソッドは追加のモデル推論を使用し、プロンプト "Answer:" によってプレフィックスされた事前の入力と出力を提供する。 この抽出ルールに依存しないアプローチは、性能の向上と堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2025-10-16T15:09:22Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Am I on the Right Track? What Can Predicted Query Performance Tell Us about the Search Behaviour of Agentic RAG [35.16209722320604]
  本稿では,最近のエージェントRAGモデル検索-R1とR1-Searcherにおけるクエリ性能予測(QPP)の適用性について検討する。 より短い推理過程において,有効解答器を適用すれば高い解答精度が得られることがわかった。
  論文  参考訳（メタデータ） (2025-07-14T15:54:50Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Uncertainty Quantification in Retrieval Augmented Question Answering [45.573346610161195]
  本稿では,QAモデルが備える通路の有効性を推定することで,QAモデルの不確実性を定量化する。 我々は、目標QAモデルの通過効率を予測するために軽量ニューラルネットワークを訓練し、単純な情報理論のメトリクスが解の正しさをある程度予測できる一方で、より高価なサンプリングベースの手法を効率的に近似または上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-25T11:24:52Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。