論文の概要: When Knowledge Is Not Free: Cost-Aware Evidence Selection in Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2606.02245v1
- Date: Mon, 01 Jun 2026 13:39:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:32.172877
- Title: When Knowledge Is Not Free: Cost-Aware Evidence Selection in Retrieval-Augmented Generation
- Title(参考訳): 知識が自由でないとき--検索型世代におけるコストアウェアエビデンス選択
- Abstract要約: 検索された証拠がアクセスコストの層に割り当てられ、システムは明示的なエビデンスアクセス予算の下で答えなければならない。
本稿では, LLMがいつ取得するか, アクセスするレベル, 停止するタイミングを決定するエージェントコスト対応RAGについて検討する。
これらのことから,次世代のRAGシステムにおいて,コスト認識型エビデンス獲得が中心的な課題であることが示唆された。
- 参考スコア(独自算出の注目度): 14.80584946722667
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) typically assumes that external knowledge is free, but many high-quality sources are paywalled, licensed, restricted, or otherwise costly to access. We introduce cost-aware RAG, a setting where retrieved evidence is assigned access-cost tiers and systems must answer under an explicit evidence-access budget. We instantiate this setting by augmenting MS MARCO v2.1 with access-friction tiers and evaluate budgeted evidence selection across general-domain and domain-specific QA benchmarks. Our results show that static selection is brittle: no fixed selector uniformly dominates, and larger budgets do not reliably improve answer quality, even when costly evidence is domain-matched. We then study agentic cost-aware RAG, where an LLM decides when to retrieve, which tier to access, and when to stop. Agents show strong promise as adaptive evidence-acquisition controllers, but their behavior remains highly model- and task-dependent. These findings suggest that cost-aware evidence acquisition is a central challenge for the next generation of RAG systems. All code and data are available at https://github.com/Mignonmy/Cost-Aware.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は通常、外部知識は無料であると仮定するが、多くの高品質ソースはペイウォール、ライセンス、制限、その他のアクセスに費用がかかる。
検索された証拠がアクセスコストの層に割り当てられ、システムは明示的なエビデンスアクセス予算の下で答えなければならない。
我々は、MS MARCO v2.1をアクセスフリクション層で拡張し、汎用ドメインおよびドメイン固有のQAベンチマーク間での予算付きエビデンス選択を評価することにより、この設定をインスタンス化する。
固定セレクタが一様に支配されず,また,コストのかかる証拠がドメインマッチングされた場合でも,より大きな予算で解答品質が確実に向上しない。
次に, LLMがいつ取得するか, アクセスするレベル, 停止するタイミングを決定するエージェントコスト対応RAGについて検討する。
エージェントはアダプティブ・エビデンス・アセプション・コントローラーとして強い約束を示すが、その振る舞いはモデルとタスクに依存している。
これらのことから,次世代のRAGシステムにおいて,コスト認識型エビデンス獲得が中心的な課題であることが示唆された。
すべてのコードとデータはhttps://github.com/Mignonmy/Cost-Aware.comで入手できる。
関連論文リスト
- Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。
我々はこのトレードオフをPandoraのBoxの例として定式化した。
ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
論文 参考訳(メタデータ) (2026-08-20T17:54:37Z) - OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。
この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。
我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
論文 参考訳(メタデータ) (2026-07-30T17:57:41Z) - Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents [14.413992677258825]
ツールプレフィックスのランク付けに際し,コストアウェアの限界決定中心の停止(CAM-DF)を開発する。
我々は5つのツール・ユース・ドメインにまたがる1,343のタスクを評価した。
当社のアプローチは、異質なコストと高コストで最先端のアプローチです。
論文 参考訳(メタデータ) (2026-07-29T16:07:37Z) - When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost [11.216720435946804]
予算を意識したアクティブRAG評価は、フロンティア、実現された使用法、しきい値転送エラー、ハーモレート、コスト分解を精度とともに報告すべきである。
トリガースコアが有用な検索判断をランク付けするかどうか、過去のデータで調整されたしきい値が将来の予算を満たすかどうか、トリガーサイドがどのようにデプロイメントコストを変更するか、という3つの質問を運用します。
論文 参考訳(メタデータ) (2026-07-27T05:17:06Z) - Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models [0.10152838128195468]
この研究は、大規模言語モデルに対する予算対応テストタイムモデル選択を定式化する。
単位コスト当たりの限界精度の推定によるオンライン再サンプリング・オー・リルート(RoR)割り当てポリシーを提案する。
11モデルのオープンウェイトプールから4つの異なる難易度ベンチマークで新たに生成した正しさテンソルの実験により、提案されたRoRポリシーは、単一ルート、一コミットルータ、予算対応のベスト・オブ・K、カスケード、ランダム・アロケーションベースラインに対して、良好なコスト品質のロバスト性を達成することが示された。
論文 参考訳(メタデータ) (2026-07-09T16:34:15Z) - Five Queries Are Enough: Query-Efficient and Surrogate-Free Membership Inference Attacks on RAG via Entailment [19.95305571949895]
本稿では,クエリ毎に得られる情報を最大化するために自然言語のエンタテインメントを利用するクエリ効率の高いMIAであるMEntA(Membership Entailment Attack)を提案する。
NFCorpus、SCIDOCS、TREC-COVID全体で、MEntAは最大0.991 AUCを5クエリで達成し、同等条件下では0.42 AUCの先行手法より優れている。
本研究は,RAGシステムにおける現実的かつ低コストなプライバシリークの実現可能性を明らかにするとともに,プライバシを意識した検索・防衛機構の緊急の必要性を明らかにするものである。
論文 参考訳(メタデータ) (2026-05-23T00:38:59Z) - Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications [2.497641182907452]
本研究では,自動車産業に特化した2つの閉じたデータセットに対するRAGとFTの影響について検討した。
我々の研究結果によると、プレミアムモデルは最初から最高の性能を発揮するが、オープンソースモデルはRAGで拡張すると同等の品質が得られる。
論文 参考訳(メタデータ) (2026-05-10T13:35:16Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2026-03-13T20:44:15Z) - EvoRoute: Experience-Driven Self-Routing LLM Agent Systems [100.64399490164959]
EvoRouteは、静的で事前定義されたモデルの割り当てを超越する、自己進化型のモデルルーティングパラダイムである。
挑戦的なエージェントベンチマークの実験によると、既製のエージェントシステムに統合されたEvoRouteは、システムのパフォーマンスを維持または向上するだけでなく、実行コストを最大80%削減し、レイテンシを70%以上削減する。
論文 参考訳(メタデータ) (2026-01-06T04:06:46Z) - Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。
本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文 参考訳(メタデータ) (2025-12-23T03:10:09Z) - BudgetLeak: Membership Inference Attacks on RAG Systems via the Generation Budget Side Channel [21.74370009270649]
メンバーシップ推論攻撃(MIA)は、そのようなリスクを評価するための一般的な手法である。
我々は、RAGシステムにおいて、未探索のサイドチャネルであるジェネレーション予算を特定した。
BudgetLeakは、異なる予算下で応答を探索する新しいメンバーシップ推論攻撃である。
論文 参考訳(メタデータ) (2025-11-15T05:25:04Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。
クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。
我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
論文 参考訳(メタデータ) (2025-09-29T21:44:00Z) - Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。
内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。
本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文 参考訳(メタデータ) (2025-05-26T07:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。