論文の概要: COLEP: Certifiably Robust Learning-Reasoning Conformal Prediction via Probabilistic Circuits
- arxiv url: http://arxiv.org/abs/2403.11348v1
- Date: Sun, 17 Mar 2024 21:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:17:15.360839
- Title: COLEP: Certifiably Robust Learning-Reasoning Conformal Prediction via Probabilistic Circuits
- Title(参考訳): COLEP:確率回路を用いた頑健な学習推論
- Authors: Mintong Kang, Nezihe Merve Gürel, Linyi Li, Bo Li,
- Abstract要約: 任意のブラックボックス機械学習モデルに対して,統計的に厳密な予測セットを構築する際に,等角予測の性能が向上した。
本稿では,確率回路を用いた確率論的に堅牢な学習共形予測フレームワーク(COLEP)を提案する。
CIFAR-10で9%,AwA2で14%, GTSRBで12%, CIFAR-10で9%, AwA2で14%, COLEPは12%向上した。
- 参考スコア(独自算出の注目度): 21.140271657387903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conformal prediction has shown spurring performance in constructing statistically rigorous prediction sets for arbitrary black-box machine learning models, assuming the data is exchangeable. However, even small adversarial perturbations during the inference can violate the exchangeability assumption, challenge the coverage guarantees, and result in a subsequent decline in empirical coverage. In this work, we propose a certifiably robust learning-reasoning conformal prediction framework (COLEP) via probabilistic circuits, which comprise a data-driven learning component that trains statistical models to learn different semantic concepts, and a reasoning component that encodes knowledge and characterizes the relationships among the trained models for logic reasoning. To achieve exact and efficient reasoning, we employ probabilistic circuits (PCs) within the reasoning component. Theoretically, we provide end-to-end certification of prediction coverage for COLEP in the presence of bounded adversarial perturbations. We also provide certified coverage considering the finite size of the calibration set. Furthermore, we prove that COLEP achieves higher prediction coverage and accuracy over a single model as long as the utilities of knowledge models are non-trivial. Empirically, we show the validity and tightness of our certified coverage, demonstrating the robust conformal prediction of COLEP on various datasets, including GTSRB, CIFAR10, and AwA2. We show that COLEP achieves up to 12% improvement in certified coverage on GTSRB, 9% on CIFAR-10, and 14% on AwA2.
- Abstract(参考訳): 任意のブラックボックス機械学習モデルに対する統計的に厳密な予測セットの構築において,データが交換可能であることを前提として,コンフォーマル予測の性能が向上した。
しかし、推論中の小さな敵対的摂動でさえ、交換可能性の仮定に反し、カバレッジ保証に挑戦し、結果として経験的カバレッジが低下する。
本研究では,確率論的回路を介し,確率論的回路を用いて確率論的に頑健な学習共形予測フレームワーク(COLEP)を提案する。これは,統計モデルを訓練して異なる意味概念を学習するデータ駆動学習コンポーネントと,知識を符号化し,学習したモデル間の関係を論理的推論のために特徴付ける推論コンポーネントである。
正確かつ効率的な推論を実現するために、我々は確率回路(PC)を推論部品に採用する。
理論的には,有界対向摂動の存在下でのCOLEPの予測カバレッジをエンドツーエンドで検証する。
また,キャリブレーションセットの有限サイズを考慮した認定カバレッジも提供する。
さらに,知識モデルの有用性が非自明である限り,COLEPは単一モデルよりも高い予測カバレッジと精度を達成できることを示す。
GTSRB, CIFAR10, AwA2など, 各種データセット上でのCOLEPの頑健な適合性予測を実証し, その妥当性と厳密性を実証した。
CIFAR-10では9%,AwA2では14%,GTSRBでは最大12%の改善が達成された。
関連論文リスト
- Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction [4.856998175951948]
本研究では,共形予測アルゴリズムが深層学習モデルの不確かさと関係があることを示し,この関係が深層学習モデルが校正外であるかどうかを検出するのに有効であることを示す。
モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。
論文 参考訳(メタデータ) (2024-05-04T11:05:52Z) - Conformal Prediction with Learned Features [22.733758606168873]
本稿では,予測セットの条件付き妥当性を向上させるために,PLCP(Partition Learning Conformal Prediction)を提案する。
我々は,市販の機械学習モデルを用いて,勾配の交互化によるPLCPを効率的に実装する。
4つの実世界および合成データセットに対する実験結果から,PLCPの優れた性能を示した。
論文 参考訳(メタデータ) (2024-04-26T15:43:06Z) - Conformal Predictive Systems Under Covariate Shift [2.9310590399782788]
Conformal Predictive Systems (CPS) は予測分布を構築するための汎用的なフレームワークを提供する。
重み付きCPS(重み付きコンフォーマル予測)を提案する。
本稿ではWCPSの有効性と有効性に関する理論的根拠と予想について述べる。
論文 参考訳(メタデータ) (2024-04-23T13:23:27Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳(メタデータ) (2023-05-27T19:57:27Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Distribution-Free Finite-Sample Guarantees and Split Conformal
Prediction [0.0]
分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。
1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
論文 参考訳(メタデータ) (2022-10-26T14:12:24Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z) - Adversarial Training with Rectified Rejection [114.83821848791206]
本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。
軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
論文 参考訳(メタデータ) (2021-05-31T08:24:53Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Robust Validation: Confident Predictions Even When Distributions Shift [24.211408049646153]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。