論文の概要: Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays
- arxiv url: http://arxiv.org/abs/2608.14639v1
- Date: Tue, 28 Jul 2026 17:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.932541
- Title: Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays
- Title（参考訳）: 文書抽出のためのバリデーションパーフィールド選択リスク制御:3つの障害モード、妥当性ラダー、条件付支払い
- Abstract要約: フィールド単位の受け入れ/レビューは、ほとんどのアルファ版において選択的なリスクを持つが、信頼契約文書抽出システムを必要とする。
13,859 個の CORD レシート (49.0% ) からの真の Claude-sonnet-5 フィールドでは、3 つの障害モードを診断する。
シードピンでレグレッション付きプロシージャを備えたApache-2.0がリリースされた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Per-field accept/review with selective risk at most alpha -- accept a field only if the error rate among accepted fields is controlled -- is the trust contract document-extraction systems need, and the natural procedure silently violates it on real documents. On 13,859 genuine claude-sonnet-5 fields from 800 CORD receipts (49.0% correct) we diagnose three failure modes: document clustering (design effect 1.84-2.45), score-refit leakage (coverage 0.416 at risk 0.127, violating alpha=0.10 in 95% of splits), and a tie-mass pathology (a degenerate score collapses the threshold grid, 0.030 to 0.001). We organize the fixes as a validity ladder, guarantee form stated per tier. A fit/val split protocol restores expected-selective-risk control for a learned fusion: coverage 0.318 at risk 0.096 at nominal alpha=0.10, no tolerance band (production variant 0.326) -- an on-average point whose realized risk exceeds alpha in 47.5% of resplits, not a certificate. Mondrian Learn-then-Test with exact binomial tails yields per-group PAC certificates: field-iid 0.171 at risk 0.068, cluster-corrected 0.140, doc-iid 0.060 -- the only tier matching documents, honestly near-vacuous today. Support-bin, the pre-specified provenance taxonomy, wins every rigor tier on the sonnet CORD capture (p<1e-4, Bonferroni-corrected) -- a win that does not replicate on the same documents under haiku or qwen -- while on higher-accuracy corpora pooled thresholds win: conditioning helps exactly where pooled cannot certify, subsumed by a learned score elsewhere. A frozen-configuration confirmation on selection-untouched claude-haiku-4-5 held at both risk levels, and a blind three-annotator human-gold audit verifies the practical tier's accepted-set risk at 1.3% against its 10% budget (Fleiss' kappa=0.83; labels err one-sidedly pessimistic). Released Apache-2.0 with seed-pinned, regression-gated procedures.
- Abstract（参考訳）: 承認されたフィールド間のエラーレートが制御されている場合に限り、アルファ版で選択的なリスクを持つフィールド毎の受け入れ/レビューは、信頼契約文書抽出システムが必要であり、自然手続きは、それを実際のドキュメントに静かに違反する。
13,859個のCORDレシート(49.0%の精度)からの真のクロード・ソネット5フィールドでは、3つの障害モードを診断する:文書クラスタリング(設計効果 1.84-2.45)、スコアリフィットリーク(リスク0.127、95%のスプリットでα=0.10を違反する)、タイマスの病理(縮退スコアが閾値グリッドを崩壊させる0.030から0.001)。
私たちは修正を妥当性のはしごとして整理し、階層ごとのフォームを保証します。
Fit/val スプリットプロトコルは、学習した融合の予測選択リスク制御を復元する: 公称α=0.10で0.096のリスクでカバレッジ0.318、許容帯域(プロダクション変種0.326)は存在しない。
正確な二項尾を持つMondrian Learn-then-Testでは、グループ毎のPAC証明書が生成される。
Support-binは事前に特定された証明分類であり、sonnet CORDキャプチャー(p<1e-4, Bonferroni-corrected)上のすべての厳密な階層(p<1e-4, Bonferroni-corrected)を勝ち取る。
選択無タッチのクロードハイク-4-5の凍結構成確認は両リスクレベルで行われ、盲目3歳児監査は、10%の予算に対して実用層が受け入れるリスクを1.3%と検証する(Fleiss' kappa=0.83; labels err one-sidedly pessimistic)。
シードピンでレグレッション付きプロシージャを備えたApache-2.0がリリースされた。
関連論文リスト
- Guaranteed Adaptive Modality Acquisition: When the Policy Chooses Its Own Calibration Group [0.0]
マルチモーダルシステムは、入力のいくつかのみを保持する推論を開始し、残りをコストで取得することができる。
パターン条件保証が有効であり続けると特徴付け、2つの有限サンプル構成を与える。
逆例は、カリブレーション非依存のグルーピングマップに対して証明された保証が、ポリシーが端末群キャリブレーションに依存した場合、転送する必要はないことを示している。
論文 参考訳（メタデータ） (2026-08-16T04:19:31Z) - Quality-Diversity Stress Tests for Process Reward Models:What Archive Coverage Can and Cannot Certify [1.0742675209112622]
MAP-Elites を用いた品質多様性探索問題として PRM ストレス試験を定式化する。
有限セル修復は、カバーセルのテールリスクと平均残酷さを境界とするが、カバーレートだけでは最悪の残酷なセルをバウンドすることはできない。
事前宣言されたペアのLoRA修復プロトコルは、攻撃率が0.148から0.037から0.074に減少し、最悪の攻撃は0.333から0.177から0.212に減少し、最高の4つの精度を低下させることなくAUROCのランキングを改善する。
論文 参考訳（メタデータ） (2026-08-08T08:41:06Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。
我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
論文 参考訳（メタデータ） (2026-06-27T19:25:07Z) - False Sense of Safety in Selective Signal Classification: Auditing Bound Tightness and Exchangeability for Risk Control [6.3999417080764225]
分布自由リスク制御による選択的な予測では、キャリブレーションドローに対する信頼度1-deltaでは、受け入れられた入力のエラー率は、ユーザ予算のアルファ値以下である。
我々はこの約束を、機械異常音検出(ASD)とAI生成画像鑑定という信号領域検出器で監査する。
論文 参考訳（メタデータ） (2026-06-13T06:48:50Z) - A Joint Finite-Sample Certificate for Adaptive Selective Conformal Risk Control [0.9668407688201359]
選択したリスクを直接比率として扱うことにより、有界、おそらくは非単調な損失の証明を与える。
1/pmin$から1/sqrtpmin$への受け入れフロア依存を鋭くする。
この証明書は、Hoeffding--CRCに対する認証受け入れフロンティアを$+22$ ppで開く。
論文 参考訳（メタデータ） (2026-06-07T08:55:44Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳（メタデータ） (2025-12-12T18:47:39Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳（メタデータ） (2025-08-28T04:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。