論文の概要: Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion
- arxiv url: http://arxiv.org/abs/2608.14617v1
- Date: Sat, 11 Jul 2026 09:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.237394
- Title: Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion
- Title（参考訳）: シャーパー予測ではないキャリブレーション信頼:不確実性融合の実証実験
- Abstract要約: 法的AIにおける繰り返しの提案は、ケースアウトの予測を改善することである。
実際に1000件の欧州人権裁判所でテストしています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recurring proposal in legal AI is to improve case-outcome prediction by fusing uncertainty tools (evidence graphs with belief propagation, sequential Bayesian odds updating, Dempster-Shafer combination, and conformal prediction) into one pipeline. We test this on 1,000 real European Court of Human Rights cases from LexGLUE and FairLex, predicting whether the Court found a Convention violation from the case's fact paragraphs. We compare three families across two frontier LLMs (Claude Opus 4.8 and GPT-5.5) as per-fact evidence estimators: (A) the raw LLM, (B) the LLM routed through the fusion pipeline, and (C) a term-frequency baseline through the same pipeline. Across roughly 4,750 tests we find: (1) on discrimination (AUROC around 0.83) the pipeline yields no improvement over either the raw LLM or the baseline; a frontier LLM used directly is the strongest single discriminator. (2) Naively composing an LLM with Bayesian-odds and Dempster-Shafer fusion more than doubles calibration error (ECE from about 0.16 to 0.46) via a prior-mismatch mechanism that replicates across both models. (3) Dempster-Shafer fusion is actively unsafe on long chains, committing confidently to wrong labels at below-chance accuracy; we recommend removing it. (4) The pipeline's genuine value is operational: routed through a conformal selective-prediction layer, the system decides which cases to automate and which to escalate. After removing Dempster-Shafer, recalibrating, and applying class-conditional risk control on the full 1,000-case set, the tuned engine auto-clears at 96.8 percent accuracy with 0.5 percent errors escaping and 96.3 percent caught for review, versus 85.9 / 3.8 / 72.1 for an untuned baseline. The contribution of such pipelines in law is calibrated trust, not sharper prediction.
- Abstract（参考訳）: 法的AIにおける繰り返しの提案は、不確実性ツール(信念の伝播を伴う証拠グラフ、連続ベイズ確率の更新、デンプスター・シェーファーの組み合わせ、共形予測)を1つのパイプラインに融合させることで、ケースアウト予測を改善することである。
我々は、欧州人権裁判所(LexGLUE)とフェアレックス(FairLex)の1,000件の実際の人権訴訟でこれを検証し、裁判所が事件の事実条項に違反したかどうかを予測した。
我々は,2つのフロンティアLCM(Claude Opus 4.8, GPT-5.5)の3つのファミリーを,(A)生LPM,(B)核融合パイプラインを経由するLSM,(C)同じパイプラインを通る項周波数ベースラインと比較した。
1)識別(AUROC約0.83)では、パイプラインは生のLLMまたはベースラインよりも改善を得られず、直接使用されるフロンティアLSMは最強の単一識別器である。
2) バイジアン・オッドとデンプスター・シャファー融合を併用したLCMを2倍のキャリブレーション誤差(ECE:約0.16から0.46)で、両方のモデルにまたがる前ミスマッチ機構によって合成する。
(3) Dempster-Shafer融合は、長い連鎖に対して積極的に安全であり、間違ったラベルに自信を持って短い精度でコミットする。
(4) パイプラインの真の値はオペレーショナルで、コンホメーショナルな選択予測層を通ってルーティングされ、システムはどのケースを自動化し、どのケースをエスカレートするかを決定する。
デンプスター・シェーファーを除去し、1000ケースの完全なセットにクラス条件のリスク制御を適用した後、調整されたエンジンのオートクラーは96.8%の精度で、0.5%のエラーがエスケープされ、96.3%はレビューのためにキャッチされ、85.9 / 3.8 / 72.1は未調整のベースラインで処理された。
このようなパイプラインの法における貢献は、よりシャープな予測ではなく、信頼の調整である。
関連論文リスト
- Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation [39.25766957943906]
SPANUQは、高価なマルチサンプル推論から不確かさの知識を、隠れた状態への単一の前方通過に蒸留する軽量プローブである。
SPANUQ-BENCHは20Kプロンプト、293Kアノテートスパン、連続ソフトラベルからなる最初のスパンレベル不確実性ベンチマークである。
実験により、SPANUQは、最強のプローブベースラインと全てのサンプリングベース手法よりも優れた、最高のスパンレベルの不確かさを一貫して達成していることが示された。
論文 参考訳（メタデータ） (2026-07-07T01:09:46Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳（メタデータ） (2026-05-18T23:43:12Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。
VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。
3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
論文 参考訳（メタデータ） (2026-05-11T23:39:19Z) - The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。
モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
論文 参考訳（メタデータ） (2026-04-14T16:48:24Z) - Predictive Entropy Links Calibration and Paraphrase Sensitivity in Medical Vision-Language Models [2.064612766965483]
我々は,MedGemma 4BITの分布MIMIC CXRと外分布PadChest chest X ray データセットの5つの不確実性定量化手法を示し,LLaVA RAD7Bのクロスアーキテクチャ検証を行った。
うまく校正された単一モデル法では、一方のフォワードパスからの予測エントロピーは、メドジェマのAUROC 0.711、LLaVARAD p 10 4の0.878、信頼できないと敏感な予測の両方を1つのエントロピーしきい値でフラグ付けることができる。
論文 参考訳（メタデータ） (2026-04-10T04:18:47Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - Probabilistic Soundness Guarantees in LLM Reasoning Chains [37.440902632372904]
ARES(Autoregressive Reasoning Entailment Stability)は、事前に検証された前提のみに基づいて、各推論ステップを評価する確率的フレームワークである。
ARESは4つのベンチマークで最先端のパフォーマンスを達成し、非常に長い合成推論チェーン上で優れた堅牢性を示す。
論文 参考訳（メタデータ） (2025-07-17T09:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。