論文の概要: Efficient Conformal Prediction under Data Heterogeneity
- arxiv url: http://arxiv.org/abs/2312.15799v2
- Date: Sat, 13 Jul 2024 11:22:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 02:24:41.163296
- Title: Efficient Conformal Prediction under Data Heterogeneity
- Title(参考訳): データ不均一性を考慮した効率的なコンフォーマル予測
- Authors: Vincent Plassier, Nikita Kotelevskii, Aleksandr Rubashevskii, Fedor Noskov, Maksim Velikanov, Alexander Fishkov, Samuel Horvath, Martin Takac, Eric Moulines, Maxim Panov,
- Abstract要約: コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
- 参考スコア(独自算出の注目度): 79.35418041861327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal Prediction (CP) stands out as a robust framework for uncertainty quantification, which is crucial for ensuring the reliability of predictions. However, common CP methods heavily rely on data exchangeability, a condition often violated in practice. Existing approaches for tackling non-exchangeability lead to methods that are not computable beyond the simplest examples. This work introduces a new efficient approach to CP that produces provably valid confidence sets for fairly general non-exchangeable data distributions. We illustrate the general theory with applications to the challenging setting of federated learning under data heterogeneity between agents. Our method allows constructing provably valid personalized prediction sets for agents in a fully federated way. The effectiveness of the proposed method is demonstrated in a series of experiments on real-world datasets.
- Abstract(参考訳): コンフォーマル予測(CP)は不確実性定量化のための堅牢な枠組みであり、予測の信頼性を確保するために重要である。
しかし、CPの一般的な手法はデータ交換可能性に大きく依存している。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
本稿では,エージェント間のデータ不均一性の下でのフェデレート学習の挑戦的設定への一般理論の適用について説明する。
本手法では, エージェントの個人化予測セットを, 完全にフェデレートされた方法で構築することができる。
提案手法の有効性は実世界のデータセットに関する一連の実験で実証された。
関連論文リスト
- Conditionally valid Probabilistic Conformal Prediction [57.80927226809277]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを作成する手法を開発した。
提案手法の有効性を広範囲なシミュレーションにより実証し,条件付きカバレッジで既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-07-01T20:44:48Z) - Robust Conformal Prediction Using Privileged Information [17.886554223172517]
本研究では,トレーニングデータの破損に対して堅牢な,保証されたカバレッジ率で予測セットを生成する手法を開発した。
我々のアプローチは、i.d仮定の下で有効となる予測セットを構築するための強力なフレームワークである共形予測に基づいている。
論文 参考訳(メタデータ) (2024-06-08T08:56:47Z) - Probabilistically Plausible Counterfactual Explanations with Normalizing Flows [2.675793767640172]
本稿では,確率論的に妥当な反事実的説明を生成する新しい手法であるPPCEFを提案する。
本手法は, パラメータ分布の特定の族を仮定することなく, 明示密度関数を直接最適化することにより, 精度を向上する。
PPCEFは、機械学習モデルを解釈し、公正性、説明責任、AIシステムの信頼を改善するための強力なツールである。
論文 参考訳(メタデータ) (2024-05-27T20:24:03Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳(メタデータ) (2024-04-24T09:04:36Z) - Coverage-Guaranteed Prediction Sets for Out-of-Distribution Data [11.416180794737203]
分割予測(SCP)は、信頼セット予測問題を扱うための効率的なフレームワークである。
SCPを自明に適用すると、未知のターゲットドメインがソースドメインと異なる場合、限界範囲のカバレッジを維持することができないことが示される。
我々は,OOD設定に自信ある予測セットを形成する手法を開発し,提案手法の有効性を理論的に証明する。
論文 参考訳(メタデータ) (2024-03-29T03:16:29Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳(メタデータ) (2023-05-27T19:57:27Z) - Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。
ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
論文 参考訳(メタデータ) (2022-05-22T04:17:30Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。