論文の概要: RAGScope: A Leakage-Controlled, Cost-Aware Evidence-Gating Protocol for RAG Hallucination Triage
- arxiv url: http://arxiv.org/abs/2609.39075v1
- Date: Wed, 30 Sep 2026 06:13:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.270517
- Title: RAGScope: A Leakage-Controlled, Cost-Aware Evidence-Gating Protocol for RAG Hallucination Triage
- Title（参考訳）: RAGScope:RAG幻覚トリアージのための漏洩管理・コスト対応エビデンスゲーティングプロトコル
- Abstract要約: RAGScopeは、ローカルエビデンスゲートを評価するための漏洩制御プロトコルである。
3つのRAGTruthタスクでは、拡張ゲートRAGScope-Eが0.798 AUROC、平均精度0.660に達する。
最上位10%の審査予算では、RAGScope-Eは0.748の精度を達成し、最低リスク50%は0.141の残留不信を許容する。
- 参考スコア（独自算出の注目度）: 12.40744753451573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) systems need inexpensive ways to route generated answers: accept low-risk outputs, review uncertain ones, and reserve strong verifiers for the expensive tail. We present RAGScope, a leakage-controlled protocol for evaluating local evidence gates that use only the task input, retrieved context, and answer text. The protocol combines context-grouped splits, fold-scoped preprocessing, group bootstrap intervals, deployment operating points, end-to-end runtime, and explicit source-shift stress tests. On three RAGTruth tasks, the enhanced gate RAGScope-E reaches 0.798 AUROC and 0.660 average precision (AP) in pooled grouped cross-validation. Its pooled AP exceeds ROUGE-L by 0.034 with a 95% context-group interval of [0.002, 0.064], although the AUROC gain is not significant and ROUGE-L remains stronger on data-to-text. At a top-10% review budget, RAGScope-E attains 0.748 precision; accepting the lowest-risk 50% yields 0.141 residual unfaithfulness. RAGScope-E runs in 6.22 ms/example on CPU, versus 145.75 and 223.07 ms/example for the tested DeBERTa-NLI and HHEM settings. A 14,900-example HaluBench stress test exposes the deployment boundary: an in-domain calibrated gate reaches 0.879 AUROC, but leave-source-out calibration averages only 0.466. Target-only calibration recovers to 0.675 AUROC with 100 labels per source and 0.685 with 200. Cheap evidence gates are therefore useful routing components, but learned calibration must be validated and adapted within the target domain.
- Abstract（参考訳）: 検索拡張世代(RAG)システムは、低リスクの出力を受け入れ、不確実な出力をレビューし、高価なテールに対して強力な検証を行うための安価な方法を必要とする。
本稿では,タスク入力,検索コンテキスト,回答テキストのみを使用するローカルエビデンスゲートの評価を行う,リーク制御プロトコルであるRAGScopeを提案する。
このプロトコルは、コンテキストグループ分割、フォールドスコープ前処理、グループブートストラップ間隔、デプロイメント操作ポイント、エンドツーエンドランタイム、明示的なソースシフトストレステストを組み合わせる。
3つのRAGTruthタスクでは、拡張ゲートRAGScope-Eが0.798 AUROC、平均精度0.660に達する。
プーリングされたAPは、[0.002, 0.064] の文脈群間隔で ROUGE-L を0.034 で上回っているが、AUROC の利得はそれほど大きくなく、ROUGE-L はデータ・トゥ・テキスト上でも強いままである。
最上位10%の審査予算では、RAGScope-Eは0.748の精度を達成し、最低リスク50%は0.141の残留不信を許容する。
RAGScope-EはCPU上で6.22ms/exampleで動作するが、テストされたDeBERTa-NLIとHHEM設定では145.75ms/exampleと223.07ms/exampleである。
14,900サンプルのHaluBenchストレステストでは、配置境界が露出し、領域内キャリブレーションゲートは0.879 AUROCに達するが、ソース外キャリブレーション平均は0.466である。
ターゲットのみのキャリブレーションは、100のラベルを持つ0.675 AUROC、200の0.685に回復する。
したがって、キャッシュエビデンスゲートはルーティングコンポーネントとして有用であるが、学習されたキャリブレーションはターゲットドメイン内で検証され、適応されなければならない。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳（メタデータ） (2026-08-04T23:48:36Z) - Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference [22.335515110971475]
ビジュアルトーケンプルーニングは、一定保持予算における応答品質によって判断される。
私たちはこの盲点を、幾何学的トークン・オリジンの証明によってカップルが行動に答えるエビデンスリスク監査にします。
目的検証ポイントがタスク汎用圧縮を含まないことを示す。
論文 参考訳（メタデータ） (2026-07-29T13:45:31Z) - Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer [36.02174685737611]
各検出器は、少なくとも1つのドメインで80%$ FPR95 を超え、所望の検出器は、分配データと基礎となる VLM の両方に依存する。
本稿では, ベース検出器, レベル, シャープネスの非補償融合により, 補完的証拠を保存する検出器非依存ラッパーであるComplementary Evidence Guard(CEG)を紹介する。
論文 参考訳（メタデータ） (2026-07-29T08:00:49Z) - LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation [48.83701310501069]
大規模言語モデル(LLM)はニューラルネットの修正を生成することができるが、制限のない生成はしばしば無効または有害である。
本稿では、ニューラルネットワークデータベースからより強力な同族源モデルを用いて、弱いターゲットモデルを改善するという、より狭い設定について研究する。
我々は,ソース制御,ソース条件付き候補,非LLM hp_copy アブレーションを含むソース誘導型候補生成プロトコルを,同等の評価予算の下で提案する。
論文 参考訳（メタデータ） (2026-07-06T23:59:18Z) - RRISE: Robust Radius Inference via a Surrogate Estimator [30.521314184750867]
我々はRSフレームワークRRISEを導入し、認証を学習したサロゲートを1つのフォワードパスに圧縮する。
CIFAR-100とTiny ImageNetでは、唯一のオフラインサロゲート方式が崩壊し、RRISEは1.23ドルから1.91タイムスを高い精度で達成した。
論文 参考訳（メタデータ） (2026-06-01T20:46:06Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Paired-CSLiDAR: Height-Stratified Registration for Cross-Source Aerial-Ground LiDAR Pose Refinement [46.13526676100776]
Paired-CSLiDAR(英語版)は、シングルスキャンポーズリファインメントのためのクロスソース空地LiDARベンチマークである。
このベンチマークには6つの評価サイトで12,683組の地上空対が含まれている。
本稿では,RGSR(Residual-Guided Stratified Registration)を提案する。
論文 参考訳（メタデータ） (2026-05-01T13:14:20Z) - EverydayGPT: Confidence-Gated Routing for Efficient and Safe Hybrid GPT-RAG Conversational QA [0.0]
EverydayGPTは、信頼性保証ルーティング機構を中心に構築された軽量な会話型QAシステムである。
CGRは、高速なRAG抽出によって解決することで、クエリの85%に対してコストのかかるGPT経路の呼び出しを回避している。
システムは F1 = 0.226 +/- 0.004 を GPT のみの 0.171 と無条件の RAG の 0.210 と比較すると達成する。
論文 参考訳（メタデータ） (2026-04-24T12:44:26Z) - Generalizable Diabetes Risk Stratification via Hybrid Machine Learning Models [0.0]
糖尿病は世界中で5億3700万人を超え、2045年までに7億8300万人に達すると予測されている。
2つのハイブリッド分類器を比較し、外部コホート上での一般化性を評価する。
論文 参考訳（メタデータ） (2025-09-24T21:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。