論文の概要: Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress
- arxiv url: http://arxiv.org/abs/2608.20825v1
- Date: Fri, 21 Aug 2026 07:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.448908
- Title: Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress
- Title(参考訳): 予測証明は説明証明に取って代わることができない:複合ストレス下で信頼できるAIのための能力封筒
- Abstract要約: 信頼性のあるモデルと妥協したモデルが,各予測側証明書の下で同一であることを示す。
予測と説明の認定を1つのデプロイ可能な基準に組み合わせたフレームワークを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence systems increasingly make consequential judgments - which patient is deteriorating, which building is safe to enter, whether an image is authentic and are trusted on the strength of how accurately and confidently they predict. The safeguards that certify them are correspondingly prediction-based: accuracy, calibration and conformal coverage all measure how well a model performs. Whether such checks are sufficient to establish model trustworthiness has remained unclear. Here we prove that they cannot. We establish a separation theorem showing that a reliable model and a compromised one can be identical under every prediction-side certificate, including accuracy, calibration and coverage, yet differ arbitrarily in explanation fidelity and deployment behaviour. Detecting this failure requires access to the model's decision mechanism in addition to its predictions. We introduce the competence envelope as an operational framework that combines prediction and explanation certification into a single deployable criterion. Across diverse datasets and model classes, the proposed framework reveals failure modes that prediction-side certification alone does not capture. Certification against failures that are invisible in prediction behaviour therefore requires evidence about the model's decision mechanism as well as its outputs.
- Abstract(参考訳): 人工知能システムは、患者がどの建物に入るのが安全か、画像が本物かどうかを判断し、どれだけ正確で確実に予測されるかの強さを信頼している。
これらを認証するセーフガードは、精度、キャリブレーション、コンフォメーションカバレッジといった予測ベースである。
このようなチェックがモデル信頼性を確立するのに十分なかどうかはまだ不明だ。
ここでは、彼らができないことを証明します。
精度,キャリブレーション,カバレッジなど,すべての予測側証明の下で信頼性のあるモデルと妥協されたモデルが同一であることを示す分離定理を定式化します。
この障害を検出するには、予測に加えて、モデルの決定メカニズムにアクセスする必要がある。
我々は,予測と説明証明をひとつのデプロイ可能な基準に組み合わせた運用フレームワークとして,コンピテンスエンベロープを導入する。
さまざまなデータセットとモデルクラスにまたがって、提案されたフレームワークは、予測側認証だけでは捉えられない障害モードを明らかにしている。
予測行動で見えない失敗に対する証明には、モデルの決定機構と出力に関する証拠が必要である。
関連論文リスト
- A distribution-free certification framework for trustworthy crash-severity prediction [1.089614199781423]
厳密なモデルを修正せずにラップする認証層を開発します。
テキサス州の7つのベースモデルにまたがる520万件の記録では、同層は同一の妥当性を持つ。
フレームワークは定理レベルのテストを備えたオープンソースパッケージとしてリリースされている。
論文 参考訳(メタデータ) (2026-09-10T14:20:08Z) - When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions [11.136449698197174]
この作業では、不確実性推定、モデルのキャリブレーション、およびコードモデルに対するツールベースの禁忌処理を統合する統一的なフレームワークを導入している。
提案設計では,信頼性の高い正当性確率を割り当てたり,不確実性の下で不確実性を排除したり,不確実性のあるケースを処理するための軽量なプログラム解析手順を実行することができる。
論文 参考訳(メタデータ) (2026-05-19T05:04:42Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳(メタデータ) (2025-09-01T13:14:58Z) - Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。
まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。
本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
論文 参考訳(メタデータ) (2025-08-11T02:33:53Z) - Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。
我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。
本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:47:50Z) - Trust, or Don't Predict: Introducing the CWSA Family for Confidence-Aware Model Evaluation [0.0]
信頼性重み付き選択精度(CWSA)と正規化変種CWSA+を紹介する。
CWSAは、信頼しきい値の下で予測モデルを評価するための原則的で解釈可能な方法を提供する。
CWSAとCWSA+は、信頼度の高いテストにおいて、ニュアンスド障害モードを効果的に検出し、古典的な指標より優れていることを示す。
論文 参考訳(メタデータ) (2025-05-24T10:07:48Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Calibrating AI Models for Wireless Communications via Conformal
Prediction [55.47458839587949]
コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。
本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
論文 参考訳(メタデータ) (2022-12-15T12:52:23Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。