論文の概要: When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost

• arxiv url: http://arxiv.org/abs/2607.24010v1
• Date: Mon, 27 Jul 2026 05:17:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.319231
• Title: When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost
• Title（参考訳）: アクティブRAGはいつ回収すべきか? : 実用性・校正・費用の予算別評価
• Abstract要約: 予算を意識したアクティブRAG評価は、フロンティア、実現された使用法、しきい値転送エラー、ハーモレート、コスト分解を精度とともに報告すべきである。 トリガースコアが有用な検索判断をランク付けするかどうか、過去のデータで調整されたしきい値が将来の予算を満たすかどうか、トリガーサイドがどのようにデプロイメントコストを変更するか、という3つの質問を運用します。
• 参考スコア（独自算出の注目度）: 11.216720435946804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active RAG systems decide when to retrieve external knowledge during generation, making them a budget-sensitive case of agentic RAG and self-adaptive retrieval. Yet evaluations often leave the operating point underspecified: two systems may both claim a 50% evidence-usage budget while realizing different held-out usage rates, so higher accuracy can reflect a looser budget rather than a better retrieval policy. We study budget-aware evaluation for Active RAG by recasting active retrieval as utility estimation, where retrieval is valuable only through its marginal correctness change over a no-retrieval answer. This view separates three questions that single-point evaluations conflate: whether trigger scores rank useful retrieval decisions, whether thresholds calibrated on past data meet future budgets, and how trigger-side computation changes deployment cost. We operationalize these questions with exact top-k utility frontiers, deployable threshold frontiers, conservative budget frontiers, harm audits, and cost decompositions. Across knowledge-intensive multi-hop QA datasets and open instruction models, retrieval harm is non-negligible, router rankings change across datasets and budgets, nominal thresholds can miss target usage, and simple uncertainty or retrieval-score baselines often rival learned utility routers. Budget-aware Active RAG evaluations should therefore report frontiers, realized usage, threshold-transfer error, harm rates, and cost decompositions alongside accuracy.
• Abstract（参考訳）: アクティブRAGシステムは、生成中の外部知識をいつ取得するかを判断し、エージェントRAGと自己適応検索の予算に敏感なケースとする。 2つのシステムはどちらも50%のエビデンス利用予算を主張し、異なる使用率を実現しているため、より高い精度はより良い検索ポリシーではなく、より緩やかな予算を反映できる。 本研究では,アクティブ検索を有効性評価として再キャストすることで,アクティブRAGの予算を考慮した評価を行う。 トリガースコアが有用な検索判断をランク付けするかどうか、過去のデータで調整されたしきい値が将来の予算を満たすかどうか、トリガーサイドの計算がデプロイメントコストをどのように変更するか、という3つの質問を分離する。 これらの質問を、正確なトップkユーティリティフロンティア、デプロイ可能なしきい値フロンティア、保守的な予算フロンティア、障害監査、コスト削減で運用します。 知識集約型マルチホップQAデータセットとオープンインストラクションモデル、検索ハーネスは無視できない、データセットと予算間でルータランキングが変更、名目上のしきい値がターゲットの使用を見逃す可能性がある、単純な不確実性や検索スコアベースラインは、しばしば学習済みのユーティリティルータと競合する。 したがって、予算対応のアクティブRAG評価は、フロンティア、実現された使用法、しきい値移動誤差、ハーモレート、コスト分解を精度とともに報告する必要がある。

関連論文リスト

• Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
  不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。 我々はこのトレードオフをPandoraのBoxの例として定式化した。 ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
  論文  参考訳（メタデータ） (2026-08-20T17:54:37Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search [0.7243632426715941]
  Agentic Retrieval-Augmented Generation (RAG) システムは反復検索、計画プロンプト、検索を組み合わせるが、配置設定はツールコールと完了トークンに明確な予算を課している。 本研究では, 探索深度, 検索戦略, 完成予算が, 一定の制約下での精度とコストに与える影響について, 制御された測定結果を示す。
  論文  参考訳（メタデータ） (2026-03-09T19:42:21Z)
• Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
  大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。 既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
  論文  参考訳（メタデータ） (2025-09-30T22:19:44Z)
• Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards [110.47944672736723]
  我々は、RLVR税、評価落とし穴、データ汚染という3つの力によって利回りが過大評価されることが多いと論じている。 本稿では, 精度, グラウンド, キャリブレーションを両立させる税意識訓練・評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-09-26T05:06:25Z)
• Cost-aware Stopping for Bayesian Optimization [46.95172329282389]
  本稿では,様々な評価コストに適応し,チューニングが不要なベイズ最適化のためのコスト対応停止則を提案する。 我々は,最先端の取得関数と組み合わせた場合,停止規則によって得られる期待累積評価コストを拘束する理論的な保証を証明した。
  論文  参考訳（メタデータ） (2025-07-16T17:54:14Z)
• Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
  Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。 既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。 本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:56:20Z)
• Knowledge Retrieval Based on Generative AI [4.9328530417790954]
  本研究は,中国語ウィキペディアとLawbankを検索源として用いたRAG(Retrieval-Augmented Generation)に基づく質問応答システムを開発した。 このシステムは,BGE-M3を用いて高関係な検索結果を検索し,BGE-rerankerを用いてクエリの関連性に基づいてそれらの検索結果を並べ替える。
  論文  参考訳（メタデータ） (2025-01-08T17:29:46Z)
• Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration [0.0]
  本稿では,動作コストを考慮しつつ,ガウス過程回帰のためのALアルゴリズムを解析する。 距離制約を持つ伝統的な不確実性計量は、軌道距離上のルート平均二乗誤差を最小化する。
  論文  参考訳（メタデータ） (2024-10-31T18:35:03Z)
• Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
  問合せ予算で意思決定問題を定式化する。 我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。 我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-02-05T19:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。