論文の概要: Conformal Risk Minimization with Variance Reduction

• arxiv url: http://arxiv.org/abs/2411.01696v1
• Date: Sun, 03 Nov 2024 21:48:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:02.344234
• Title: Conformal Risk Minimization with Variance Reduction
• Title（参考訳）: 可変化によるコンフォーマルリスク最小化
• Authors: Sima Noorani, Orlando Romero, Nicolo Dal Fabbro, Hamed Hassani, George J. Pappas,
• Abstract要約: コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
• 参考スコア（独自算出の注目度）: 37.74931189657469
• License:
• Abstract: Conformal prediction (CP) is a distribution-free framework for achieving probabilistic guarantees on black-box models. CP is generally applied to a model post-training. Recent research efforts, on the other hand, have focused on optimizing CP efficiency during training. We formalize this concept as the problem of conformal risk minimization (CRM). In this direction, conformal training (ConfTr) by Stutz et al.(2022) is a technique that seeks to minimize the expected prediction set size of a model by simulating CP in-between training updates. Despite its potential, we identify a strong source of sample inefficiency in ConfTr that leads to overly noisy estimated gradients, introducing training instability and limiting practical use. To address this challenge, we propose variance-reduced conformal training (VR-ConfTr), a CRM method that incorporates a variance reduction technique in the gradient estimation of the ConfTr objective function. Through extensive experiments on various benchmark datasets, we demonstrate that VR-ConfTr consistently achieves faster convergence and smaller prediction sets compared to baselines.
• Abstract（参考訳）: コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 CPは一般に訓練後のモデルに適用される。 一方,最近の研究はCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化(CRM)の問題として定式化する。 この方向では、Stutz et al (2022) によるコンフォメーショントレーニング (ConfTr) は、CP間のトレーニング更新をシミュレートすることで、モデルの予測セットサイズを最小化する手法である。 その可能性にもかかわらず、ConfTrのサンプル非効率性の強い源は、過度にノイズの多い推定勾配をもたらし、トレーニングの不安定性を導入し、実用的な使用を制限する。 この課題に対処するために,分散還元型コンフォメーショントレーニング(VR-ConfTr)を提案する。 様々なベンチマークデータセットに関する広範な実験を通して、VR-ConfTrはベースラインと比較して、より高速な収束とより小さな予測セットを一貫して達成することを示した。

関連論文リスト

• On Divergence Measures for Training GFlowNets [3.7277730514654555]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:46:52Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• A novel Deep Learning approach for one-step Conformal Prediction approximation [0.7646713951724009]
  Conformal Prediction (CP) は、最小限の制約を与えられた最大エラー率を保証する汎用的なソリューションである。 本稿では,従来の2ステップCPアプローチを1ステップで近似する新しい共形損失関数を提案する。
  論文  参考訳（メタデータ） (2022-07-25T17:46:09Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Learning Optimal Conformal Classifiers [32.68483191509137]
  コンフォーマル予測(CP)は、真のクラスを含む信頼セットをユーザが特定した確率で予測するために用いられる。 本稿では, CP を用いた学習において, コンフォーマルラッパーをエンド・ツー・エンドとしたトレーニングモデルを用いて, CP による差別化戦略について検討する。 コンフォメーショントレーニング(ConfTr)は、平均信頼度セットのサイズを小さくすることで、最先端のCP手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-18T11:25:33Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。