論文の概要: Counterfactual Fragility Certificates: Exposing High-Confidence Brittleness under Structured Evidence Failure
- arxiv url: http://arxiv.org/abs/2609.00366v1
- Date: Mon, 29 Jun 2026 01:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.422661
- Title: Counterfactual Fragility Certificates: Exposing High-Confidence Brittleness under Structured Evidence Failure
- Title（参考訳）: ファクチュアル・フラクティリティ認定:構造的エビデンス・フェースの下での高信頼の脆さを露呈する
- Abstract要約: 高い試験精度と優れた集合キャリブレーションは、個々の予測がその証拠によって構造的に支持されているかどうかを示さない。
本稿では,CFC (Counterfactual Fragility Certificates) について紹介する。
CFCは、0.915 AUROCで独立に不安定な高信頼症例を識別し、最強の非正当性スコアを+0.405で改善した。
- 参考スコア（独自算出の注目度）: 26.80740674805048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High test accuracy and good aggregate calibration do not show whether an individual prediction is structurally supported by its evidence. In tabular decision systems, failures often occur when a feature family becomes unavailable, delayed, noisy, stale, or low-trust while the model remains highly confident. Existing calibration, uncertainty, selective-prediction, explanation, and perturbation methods provide scalar scores or attribution maps, but not a recomputable audit object answering: under a declared evidence-failure protocol, what trajectory makes this prediction lose support? We introduce Counterfactual Fragility Certificates (CFC), a model-agnostic protocol-level audit certificate-not a formal robustness certificate-that maps each prediction into an ordered evidence-failure trajectory summarized by greedy flip budget, normalized margin-collapse area, degradation thresholds, and fragility dominance score. Across seven tabular benchmarks and strong linear, tree-based, boosting, and neural baselines, CFC-FDS identifies independently brittle high-confidence cases with 0.915 AUROC, improving over the strongest non-certificate score by +0.405. The advantage persists across perturbation, permutation-importance, group-SHAP, baseline-choice, seed-variance, budgeted-review, and naturalistic field-unavailability checks. Under a 20% review budget, CFC-FDS captures 88.9% of brittle high-confidence cases, compared with 31.8-37.4% for confidence and energy scores. We also evaluate fragility-aware regularization and brittleness-aware temperature correction as secondary uses. CFC provides a concrete reliability framework for exposing high-confidence brittleness missed by ordinary score-centric evaluation.
- Abstract（参考訳）: 高い試験精度と優れた集合キャリブレーションは、個々の予測がその証拠によって構造的に支持されているかどうかを示さない。
表付き決定システムでは、モデルが高い信頼性を維持している間、フィーチャーファミリーが利用できない、遅延、ノイズ、不安定、低信頼になったときに失敗することが多い。
既存のキャリブレーション、不確実性、選択的予測、説明、摂動法はスカラースコアや属性マップを提供するが、再計算可能な監査対象には答えない。
本稿では, モデルに依存しないプロトコルレベルの監査証明書であるCFC(Counterfactual Fragility Certificates)を紹介する。
CFC-FDSは7つの表型ベンチマークと強い線形、木ベース、強化、神経ベースラインで、0.915 AUROCで独立に不安定な高信頼症例を特定し、最強の非正定値スコアを+0.405で改善した。
利点は摂動、置換・重要度、グループSHAP、ベースライン選択、種分化、予算付きレビュー、および自然主義的フィールド不利用性チェックにまたがる。
20%の審査予算の下では、CFC-FDSは88.9%の脆弱な高信頼率のケースを捕獲し、31.8-37.4%の信頼性とエネルギースコアを獲得した。
また, 脆弱性を考慮した正則化と脆性を考慮した温度補正を二次用途として評価した。
CFCは、通常のスコア中心評価で欠落した高信頼の脆さを明らかにするための具体的な信頼性フレームワークを提供する。
関連論文リスト
- Conformal Robustness in Prediction-Driven Decision-Making [2.279145575055518]
我々は,任意の固定点予測器を決定関連不確実性表現に変換するスコア校正型ロバストネスフレームワークを構築した。
我々は、厳密性の原始単位として、特定の不確実性集合ではなく、共形スコアを用いる。
我々の研究は、下流決定のための解釈可能な不確実性尺度を持つ固定されたブラックボックス予測器をコンフォーマルスコアが与えていることを示している。
論文 参考訳（メタデータ） (2026-09-19T18:43:13Z) - Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。
構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。
RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
論文 参考訳（メタデータ） (2026-08-03T11:07:37Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Beyond Output-Space Calibration: Spectral Evidence Bundling for Selective Reliability Estimation in Time-Series Classification [26.80740674805048]
時系列分類のポストホック校正は通常、出力スコアを再マップするが、配置決定は現在の時間信号によって確実な予測が支持されるかどうかに依存する。
同一の信頼値が異なる時間的サポートを隠蔽し、平均キャリブレーションは偽の高信頼誤差を見逃し、出力空間再校正は限られた入力リンク監査性を提供する。
信頼すべきかどうかを推定しながら、バックボーンの予測を一定に保ちつつ、バリデーション付き固定ラベル信頼性ポリシーを導入する。
論文 参考訳（メタデータ） (2026-06-29T01:31:00Z) - FALCON-Discover: Discovering Concentrated False-Confidence Regions for Calibration [26.80740674805048]
本研究では,精度の高い誤差が予測空間のコンパクトで発見可能な領域を占有する程度である疑似信頼度濃度について検討する。
モデルに依存しないフレームワークであるFALCON-Discoverを導入する。
論文 参考訳（メタデータ） (2026-06-29T01:23:52Z) - Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。
本稿では,ロバストネスアライメントスコア(RAS)を提案する。
論文 参考訳（メタデータ） (2025-11-24T12:07:56Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2025-09-01T13:14:58Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳（メタデータ） (2025-05-28T20:22:43Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。