論文の概要: Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
- arxiv url: http://arxiv.org/abs/2610.05034v1
- Date: Sun, 04 Oct 2026 07:55:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 06:53:21.471717
- Title: Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
- Title（参考訳）: エージェントRAG評価: 質問、軌道、読みの予算配分
- Abstract要約: エージェント検索強化世代における評価予算は、質問、探索軌跡、繰り返し回答にまたがる。
我々はHotpotQAとMuSiQueの検索フィードバック比較を用いて、割当精度、読み出し効率、コスト境界を測定する。
- 参考スコア（独自算出の注目度）: 0.49644055902166656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluation budgets in agentic retrieval-augmented generation span questions, search trajectories, and repeated answers. We measure allocation precision, reading efficiency, and cost boundaries using a retrieval-feedback comparison on HotpotQA and MuSiQue. At 34.14--34.39M model tokens, broader question coverage lowers standard error by 33\% versus five reads and 12.6\% versus three trajectories. Archived nested and Q-only forecasts predict these allocations within 4.0\% and 3.5\%, respectively. Depth subsets establish no clear forecasting advantage beyond the two-trajectory audit. One-read variance penalties relative to the fitted optimum at the same token budget are 0--9.9\%, with substantial Pro uncertainty. Under recorded model fees, more questions beat more trajectories at search prices of \$0--1 per 1,000 requests; question-versus-read fee rankings remain unresolved. Temperature zero cuts answer disagreement from 14.3\% to 3.4\% while comparison precision stays similar. \par\medskip\noindent\textbf{Keywords:} Agentic RAG; Evaluation budget; Generalizability theory; Repeated sampling.
- Abstract（参考訳）: エージェント検索強化世代における評価予算は、質問、探索軌跡、繰り返し回答にまたがる。
我々はHotpotQAとMuSiQueの検索フィードバック比較を用いて、割当精度、読み出し効率、コスト境界を測定する。
34.14--34.39Mのモデルトークンでは、より広範な質問カバレッジが標準エラーを33\%、読み込みを5つ、トラジェクトリを12.6\%減少させる。
アーカイブされたネストとQのみの予測は、それぞれ4.0\%と3.5\%の範囲内でこれらのアロケーションを予測する。
深さサブセットは、2つの軌道監査以上の明確な予測上の優位性を確立しない。
同一のトークン予算における適合最適条件に対する一読分散罰則は、実質的なProの不確実性を伴う0-9.9\%であり、1000の要求に対して0--1の検索価格でより多くの質問がより多くのトラジェクトリを上回り、質問対読手数料のランクは未解決のままである。
温度ゼロカットは14.3\%から3.4\%への不一致に答えるが、比較精度は同じである。
\par\medskip\noindent\textbf{Keywords:} Agentic RAG; Evaluation budget; Generalizability theory; 繰り返しサンプリング。
関連論文リスト
- Sharp Limits for Honest Uncertainty in Hard-Budget Repeated Evaluation [10.008162829029862]
繰り返し評価は、狭義の不確実性を証明するためにまだ複製を必要としながら、ベンチマークスコアを正確に推定することができる。
私たちは、その要求を、ハード予算$(M+t)K$の下で、タスク毎に$L$のバイナリパスを持つ$M$タスクの固定グリッド上で特徴付けます。
固定された$L ge 3$と$0 le 1/12$の場合、最悪の純粋なコホート上での最適の期待幅は、すべてのタスクが観測されたときに$_,L([M(t+1)]-1/2)$で、$_,L([M(t+1)]-1/2)である。
論文 参考訳（メタデータ） (2026-09-24T07:15:07Z) - Which Medical Questions Deserve Rationales? Perturbation-Sensitive Selection for Robust QA [12.797519888387628]
本稿では,ルート平均2乗ロバスト性に基づくサンプル優先化(RMS-RSP)を提案する。
RMS-RSPは5つのデータセットで同じ方向で平均1.91点と2.85点の堅牢な精度とセマンティック一貫性を改善する。
論文 参考訳（メタデータ） (2026-09-09T03:58:59Z) - ZoAQ: Adaptive Zeroth-Order Querying via Query-Reuse Coupling [13.122541241904308]
ZoAQは、クエリ再利用を中心に構築された適応型ZOOメソッドである。
1.2Mクエリを使用して、固定ベースラインに対してクエリを43～48%削減する。
論文 参考訳（メタデータ） (2026-08-19T08:58:46Z) - Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳（メタデータ） (2026-06-29T08:36:33Z) - Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning [13.41454380481593]
不確実性を考慮した予算割当(Uncertainty-Aware Budget Allocation、UAB)は、追加の推論コストなしで見積もられた要求当たりの不確実性に基づいて、固定サンプリング予算を再配置する凹型整数最適化フレームワークである。
1.5Bから27Bパラメータにまたがる6つのオープンウェイトモデルとブラックボックスモデルと、数学、論理学、選好タスクをカバーする5つの推論ベンチマークを評価した。
論文 参考訳（メタデータ） (2026-05-26T11:06:58Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳（メタデータ） (2026-03-12T19:18:59Z) - Rerank Before You Reason: Analyzing Reranking Tradeoffs through Effective Token Cost in Deep Search Agents [50.212640395029744]
深層探索パイプラインにおける推論予算の配分について検討する。
BrowseComp-Plusベンチマークを用いて、モデルスケール、推論の労力、深度の再検討、トークン総コストのトレードオフを分析する。
論文 参考訳（メタデータ） (2026-01-20T18:38:35Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。