論文の概要: Robust Conformal Prediction under Distribution Shift via Physics-Informed Structural Causal Model
- arxiv url: http://arxiv.org/abs/2403.15025v1
- Date: Fri, 22 Mar 2024 08:13:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:18:01.686653
- Title: Robust Conformal Prediction under Distribution Shift via Physics-Informed Structural Causal Model
- Title(参考訳): 物理インフォームド構造因果モデルによる分布シフト下のロバスト等角予測
- Authors: Rui Xu, Yue Sun, Chao Chen, Parv Venkitasubramaniam, Sihong Xie,
- Abstract要約: 整形予測(CP)は、テスト入力上の集合を予測することによって不確実性を扱う。
このカバレッジは、キャリブレーションとテストデータセットの差分分布が$P_X$であったとしても、テストデータ上で保証することができる。
本稿では,上界を小さくする物理インフォームド構造因果モデル(PI-SCM)を提案する。
- 参考スコア(独自算出の注目度): 24.58531056536442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty is critical to reliable decision-making with machine learning. Conformal prediction (CP) handles uncertainty by predicting a set on a test input, hoping the set to cover the true label with at least $(1-\alpha)$ confidence. This coverage can be guaranteed on test data even if the marginal distributions $P_X$ differ between calibration and test datasets. However, as it is common in practice, when the conditional distribution $P_{Y|X}$ is different on calibration and test data, the coverage is not guaranteed and it is essential to measure and minimize the coverage loss under distributional shift at \textit{all} possible confidence levels. To address these issues, we upper bound the coverage difference at all levels using the cumulative density functions of calibration and test conformal scores and Wasserstein distance. Inspired by the invariance of physics across data distributions, we propose a physics-informed structural causal model (PI-SCM) to reduce the upper bound. We validated that PI-SCM can improve coverage robustness along confidence level and test domain on a traffic speed prediction task and an epidemic spread task with multiple real-world datasets.
- Abstract(参考訳): 不確実性は、マシンラーニングによる信頼性の高い意思決定に不可欠である。
整形予測(CP)は、テスト入力のセットを予測することで不確実性に対処し、セットが真のラベルを少なくとも$(1-\alpha)$自信でカバーすることを期待する。
このカバレッジは、キャリブレーションとテストデータセットの差分分布が$P_X$であったとしても、テストデータ上で保証することができる。
しかし、実際には、条件分布 $P_{Y|X}$ がキャリブレーションとテストデータで異なる場合、カバレッジは保証されておらず、分布シフトの下でのカバレッジ損失をtextit{all} の信頼性レベルで測定し、最小化することが不可欠である。
これらの問題に対処するために、キャリブレーションの累積密度関数とテストコンフォメーションスコアとワッサーシュタイン距離を用いて、全てのレベルにおけるカバレッジ差を上限とする。
データ分布間の物理の不変性に着想を得て,上界を減少させる物理インフォームド構造因果モデル(PI-SCM)を提案する。
PI-SCMは,交通速度予測タスクと,複数の実世界のデータセットを用いた流行拡散タスクにおいて,信頼性レベルとテスト領域に沿ったカバレッジロバスト性を向上させることができることを確認した。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Estimating calibration error under label shift without labels [47.57286245320775]
既存のCE推定器は、ターゲットドメインからのラベルへのアクセスを前提としており、実際には利用できないことが多い。
本研究は、ラベルシフト中の新しいCE推定器を提案し、ソースとターゲットの分布間の条件付き$p(X|Y)$定数を維持しながら、境界ラベル分布の$p(Y)$の変化を特徴とする。
我々の貢献は、ラベル付きソース分布の重要度再重み付けを活用することによって、シフトしたターゲット分布に対する一貫性と偏りのないCE推定を提供するアプローチである。
論文 参考訳(メタデータ) (2023-12-14T01:18:51Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。
我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
論文 参考訳(メタデータ) (2022-05-28T02:59:05Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳(メタデータ) (2020-08-21T18:43:37Z) - Robust Validation: Confident Predictions Even When Distributions Shift [24.211408049646153]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。