論文の概要: RAGWarrant: Evidence-Preserving Governance for RAG Policy Promotion Under Quality, Cost, Latency, and Risk Constraints
- arxiv url: http://arxiv.org/abs/2609.34179v1
- Date: Mon, 28 Sep 2026 02:58:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 06:09:54.168305
- Title: RAGWarrant: Evidence-Preserving Governance for RAG Policy Promotion Under Quality, Cost, Latency, and Risk Constraints
- Title(参考訳): RAGWarrant:品質・コスト・レイテンシ・リスク制約下におけるRAG政策推進のための証拠保存ガバナンス
- Abstract要約: RAGWarrantは、デプロイメントをリーダボードの選択ではなく、制約付きのエビデンス判断として扱う。
我々は,T2-RAGBench,MultiHop-RAG,CRAG,HotpotQA,合成再生,局所生成実験におけるフレームワークの評価を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation systems are extensively instrumented with metrics, benchmarks, traces, and automated judges, but these tools do not decide whether a proposed policy change is safe to release. We present RAGWarrant, an open-source promotion-control framework that treats deployment as a constrained evidence decision rather than a leaderboard choice. RAGWarrant normalizes evaluator outputs and operational telemetry, applies predeclared quality and hard-risk gates, assigns evidence-class claim ceilings, preserves negative outcomes, and emits auditable PROMOTE, BLOCK, REJECT, or INCONCLUSIVE decisions. We evaluate the framework across T2-RAGBench, MultiHop-RAG, CRAG, HotpotQA, synthetic reproduction, and bounded local generative experiments. On HotpotQA, operational savings were blocked because answer quality fell beyond the declared margin. A bounded CRAG study selected a lower-cost quality-tied policy, but related generative gains were unstable and a held-out guardrail failed closed. We claim an auditable promotion-control abstraction, not optimizer superiority, human validation, or production readiness. The tagged artifact reproduces from a fresh clone, runs as a hardened Docker job, accepts external evaluator exports, and verifies artifact integrity.
- Abstract(参考訳): 検索可能な拡張生成システムは、メトリクス、ベンチマーク、トレース、自動判断器など、広範囲に実装されているが、これらのツールは、提案されたポリシー変更がリリースされても安全かどうかを判断しない。
RAGWarrantはオープンソースのプロモーションコントロールフレームワークで,デプロイメントをリーダボードの選択ではなく,制約付きのエビデンス判断として扱う。
RAGWarrantは評価器出力と運用テレメトリを正規化し、事前宣言された品質とハードリスクゲートを適用し、エビデンスクラスのクレーム天井を割り当て、ネガティブな結果を保持し、監査可能なProMOTE、BLOCK、REJECT、またはINCONCLUSIVE決定を出力する。
我々は,T2-RAGBench,MultiHop-RAG,CRAG,HotpotQA,合成再生,局所生成実験を対象とするフレームワークの評価を行った。
HotpotQAでは、回答の品質が宣言されたマージンを超えたため、運用上の節約がブロックされた。
有界CRAG試験では, 低コストな品質評価政策が選択されたが, 関連する生成的利得は不安定であり, 保留ガードレールは閉鎖された。
オーダブルなプロモーションコントロールの抽象化、最適化の優位性、人間のバリデーション、生産準備などではない、と私たちは主張します。
タグ付きアーティファクトは、新鮮なクローンから再生され、強化されたDockerジョブとして実行され、外部評価器のエクスポートを受け入れ、アーティファクトの完全性を検証する。
関連論文リスト
- Risk-Aware Online Conformal State Probing [65.02200443982082]
オンライン整合状態探索(オンライン整合状態探索、OCSP)は、分布仮定に頼ることなく最悪のケースの信頼性レベルを認定する行動・探索政策である。
OCSPは、リトレーニングや微調整を必要とせずに、既存のバリューベースのコントロールポリシーに適用することができる。
論文 参考訳(メタデータ) (2026-09-22T08:55:09Z) - ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳(メタデータ) (2026-09-01T10:54:13Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳(メタデータ) (2026-07-28T17:50:44Z) - Power Systems Agent Benchmark: Executable Evaluation of AI Agents in Electric Power Engineering [0.0]
本稿では,パワーエンジニアリングエージェントのベンチマークであるPower Systems Agent Benchmarkを紹介する。
エージェントは構造化されたタスクを受け取り、構造化されたソリューションを返す。
このベンチマークには、電力フローと保護から安定性、マイクログリッド、信頼性、電力品質、予測に至るまで、電力工学の8分野にわたる41のタスクファミリが含まれている。
論文 参考訳(メタデータ) (2026-06-18T21:30:39Z) - When Knowledge Is Not Free: Cost-Aware Evidence Selection in Retrieval-Augmented Generation [14.80584946722667]
検索された証拠がアクセスコストの層に割り当てられ、システムは明示的なエビデンスアクセス予算の下で答えなければならない。
本稿では, LLMがいつ取得するか, アクセスするレベル, 停止するタイミングを決定するエージェントコスト対応RAGについて検討する。
これらのことから,次世代のRAGシステムにおいて,コスト認識型エビデンス獲得が中心的な課題であることが示唆された。
論文 参考訳(メタデータ) (2026-06-01T13:39:39Z) - When Outcome Looks Right But Discipline Fails: Trace-Based Evaluation Under Hidden Competitor State [0.39287497907611874]
アウトカムのみの評価は経済的に安全でないエージェントを認定することができる。
隠れた競合状態のホテル料金では、学習者はルールベースの収益管理政策の利率規律を保ちつつ、利用可能な部屋当たりのもっともらしい収入を達成することができる。
トレースに基づく評価パラダイムである規律安定性を導入する。
論文 参考訳(メタデータ) (2026-05-18T15:58:34Z) - Reward Hacking in Rubric-Based Reinforcement Learning [23.418394508756464]
そこでは,ルールをトレーニング検証器に対して最適化するが,フロンティアの3人の審査員の家族間パネルに対して評価を行う。
我々のフレームワークは、検証失敗とルーブリック設計の制限という2つの違いの源を分離している。
医学領域と科学領域全体において、弱い検証器は参照検証器に転送されない大きなプロキシ・リワードゲインを生成する。
論文 参考訳(メタデータ) (2026-05-12T17:54:25Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。
アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。
対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
論文 参考訳(メタデータ) (2025-10-06T15:52:12Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳(メタデータ) (2024-09-24T14:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。