論文の概要: Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM
- arxiv url: http://arxiv.org/abs/2610.20634v1
- Date: Wed, 30 Sep 2026 15:32:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.547854
- Title: Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM
- Title（参考訳）: Jev-as-a-Judge for RAG Claim Verification:Confidence-Gated Cascading between a non-Generative Verifier and a Frontier LLM
- Abstract要約: 我々は、宣言された列挙式から型付き値を返す非生成的決定モデルと、ネイティブな確率と、テキストなしで比較する。
どちらもLLM-AggreFactの495人の人間による主張に答えている。
この2つの系は、通常187倍のコスト差で -0.56 点の対差 Jev minus Astra で統計的に区別できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation asks one question at volume: does this evidence support this claim? The answer is one bit, yet most pipelines obtain it from a text generator and pay generation prices for the prose wrapped around it. We compare a non-generative decision model, which returns a typed value from a declared enumeration together with a native probability and no text, against a frontier LLM configured as an engineer would deploy it for binary classification. Both answer the same 495 human-labelled claims from LLM-AggreFact, so every comparison is within-item. We report three things. First, the two systems are statistically indistinguishable on the metric this task is conventionally scored by, a paired difference of -0.56 points, Jev minus Astra, at a 187-fold cost difference. Second, that tie carries almost no information about deployment: the systems disagree on 15.2% of claims, and the cheaper one admits 23.2% of the claims annotators marked unsupported against the frontier model's 14.1%. A component whose job is to catch unsupported claims should be judged on that rate, and the conventional headline hides it. Third, because the errors differ they compose: routing the claims the cheap model is confident about and escalating the rest reaches 74.10 at USD 2.92 per thousand claims against 73.83 at USD 8.93, with the threshold chosen out of fold. But a matched random-escalation control at in-sample thresholds, spending the same budget by coin flip, does as well, so what buys the saving is the escalation share and not the probability that picks what to escalate. Measured against the cheap model it is built from, the cascade costs 61-fold more for 0.83 points, 95% CI [-3.36, 4.86], and it is the more permissive guard of the two. Equal accuracy conceals unequal errors. All predictions, prompts, pricing and code are released.
- Abstract（参考訳）: この証拠は、この主張を支持しているのだろうか?
答えは少しだが、ほとんどのパイプラインはテキストジェネレータからそれを取得し、それの周りに巻かれた散文の生成価格を支払う。
我々は、宣言された列挙式から型付き値を返す非生成決定モデルと、エンジニアがバイナリ分類用にデプロイするように設定したフロンティアLSMを比較した。
どちらもLLM-AggreFactの495人の人間による主張に答えている。
私たちは3つのことを報告します。
第一に、この2つの系は、通常187倍のコスト差で -0.56 点の対差 Jev minus Astra で統計的に区別できない。
第2に、システムは15.2%のクレームに同意しておらず、より安価なアノテータは23.2%のクレームがフロンティアモデルの14.1%に対してサポートされていないことを認めている。
サポート対象のクレームをキャッチアウトするコンポーネントは、そのレートで判断されるべきであり、従来の見出しはそれを隠している。
第3に、誤差が異なるため、クレームをルーティングすると、安価なモデルが自信を持っており、残りをエスカレートすると、USD 8.93で73.83に対してUSD 2.92で74.10に達する。
しかし、サンプル内の閾値で一致したランダムエスカレーションコントロールが、コインフリップによって同じ予算を消費するので、節約するものはエスカレーションシェアであり、エスカレーションするものを選ぶ確率ではない。
安価なモデルと比較すると、カスケードは0.83ポイント、95%CI[-3.36, 4.86]で61倍の費用がかかる。
等式精度は不等式エラーを隠蔽する。
予測、プロンプト、価格、コードはすべてリリースされている。
関連論文リスト
- Verification Turns Capability Gaps into Routing Decisions: Small Language Models for Clinical Documentation [0.10874100424278173]
医師-患者対話による臨床ノート生成は高用量および幻覚消失である。
エージェントのエンフェリフィケーションアーキテクチャが、ジェネレータスケールではなく、ここで小さな言語モデルを実現することができるかどうかを問う。
論文 参考訳（メタデータ） (2026-10-13T20:34:14Z) - Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation [0.010480658740597679]
カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。
1つの不整合温度は、誤校正の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。
E1の再現は解析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はBenjamini-Hochberg FDRの下で$q5$(2 descoped)で拒絶された。
論文 参考訳（メタデータ） (2026-09-27T18:53:26Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement [2.8129261352670003]
我々は、調達をコストに配慮したルーティング問題として扱う統計第一のゲーティングアーキテクチャであるsysを提案する。
ゲートは間隔が狭く、サンプルサイズが適切で、軸が一致する場合にのみ決定を受理する。
コンサイドの勝利率は0.80、ポジションフリップ率は52%である。
論文 参考訳（メタデータ） (2026-07-21T10:52:04Z) - Sycophancy as Material Failure under Pushback Loading: A Multi-Axis Characterization Across Three Loading Cases and up to Seventeen Material Charges [35.76482964927589]
LLMのシクロファンシーは70以上の論文で記録されているが、構成境界に関する専門家の合意は依然として低い。
物質科学の枠組みとして, 負荷下での会話, 物質電荷としてのLLMモデル, 進行負荷としての押し戻し, 材料故障としてのスタンスフリップが採用されている。
この故障は, 速度, 損傷蓄積, フレームドリフト, 脆性, 方向安定性にまたがる14回転軸測定を用いて, 3つの負荷ケースにまたがって特徴付ける。
論文 参考訳（メタデータ） (2026-06-15T12:11:19Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。
18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
論文 参考訳（メタデータ） (2026-05-20T09:53:31Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。
思考トークンのコストの削減は、ランキングの反転を70%削減します。
この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
論文 参考訳（メタデータ） (2026-03-25T06:07:39Z) - Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores [36.86032736109853]
大きな言語モデル(LLM)は、しばしば自信を持って間違っているため、確実な不確実性推定(UE)が不可欠である。
本稿では,1つのフォワードパスを用いて内部表現における層間パターンをスコアリングする,コンパクトでインスタンスごとのUE手法を提案する。
論文 参考訳（メタデータ） (2026-03-17T08:35:14Z) - High-Dimensional Robust Mean Estimation with Untrusted Batches [38.14592862692954]
本研究では,N$ユーザによるデータのコントリビューションを行う協調環境での高次元平均推定について検討した。
例えば、$varepsilon$-fraction of users is completely adversarial, and the more good' users provide data from distributions that related to $P$ but deviate by a near parameter $$.
我々のアルゴリズムは、最小最大誤差率$O(sqrtvarepsilon/n + sqrtd/nN + sを達成する。
論文 参考訳（メタデータ） (2026-02-24T08:59:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。