論文の概要: Towards Understanding Variants of Invariant Risk Minimization through
the Lens of Calibration
- arxiv url: http://arxiv.org/abs/2401.17541v1
- Date: Wed, 31 Jan 2024 02:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 15:51:00.472490
- Title: Towards Understanding Variants of Invariant Risk Minimization through
the Lens of Calibration
- Title(参考訳): キャリブレーションレンズによる不変リスク最小化の変種理解に向けて
- Authors: Kotaro Yoshida, Hiroki Naganuma
- Abstract要約: 実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
- 参考スコア(独自算出の注目度): 0.8158530638728501
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models traditionally assume that training and test data are
independently and identically distributed. However, in real-world applications,
the test distribution often differs from training. This problem, known as
out-of-distribution generalization, challenges conventional models. Invariant
Risk Minimization (IRM) emerges as a solution, aiming to identify features
invariant across different environments to enhance out-of-distribution
robustness. However, IRM's complexity, particularly its bi-level optimization,
has led to the development of various approximate methods. Our study
investigates these approximate IRM techniques, employing the Expected
Calibration Error (ECE) as a key metric. ECE, which measures the reliability of
model prediction, serves as an indicator of whether models effectively capture
environment-invariant features. Through a comparative analysis of datasets with
distributional shifts, we observe that Information Bottleneck-based IRM, which
condenses representational information, achieves a balance in improving ECE
while preserving accuracy relatively. This finding is pivotal, as it
demonstrates a feasible path to maintaining robustness without compromising
accuracy. Nonetheless, our experiments also caution against
over-regularization, which can diminish accuracy. This underscores the
necessity for a systematic approach in evaluating out-of-distribution
generalization metrics, one that beyond mere accuracy to address the nuanced
interplay between accuracy and calibration.
- Abstract(参考訳): 機械学習モデルは伝統的に、トレーニングとテストデータは独立して同一に分散されていると仮定する。
しかし、現実世界のアプリケーションでは、テスト分布はしばしばトレーニングとは異なる。
この問題は分散一般化(out-of-distribution generalization)と呼ばれ、従来のモデルに挑戦している。
不変リスク最小化(irm: invariant risk minimization)は、異なる環境にまたがる不変機能を特定し、分散の堅牢性を高めることを目的としたソリューションである。
しかし、IRMの複雑さ、特に双レベル最適化は、様々な近似手法の開発に繋がった。
本研究では,これらの近似IRM手法について検討し,予測校正誤差(ECE)を指標として検討した。
モデル予測の信頼性を測定するECEは、モデルが環境不変の特徴を効果的に捉えているかどうかを示す指標となる。
分布シフトを伴うデータセットの比較分析を通じて,表現情報を凝縮する情報ボトルネックに基づくirmが,精度を相対的に保ちながらece改善のバランスをとることを検証した。
この発見は、正確さを損なうことなく堅牢性を維持するための、実現可能な道のりを示す。
それにもかかわらず、我々の実験は、精度を低下させるオーバーレギュライゼーションにも注意を払っています。
これは、精度とキャリブレーションの間の微妙な相互作用に対処するための単なる正確さを超えて、分散一般化メトリクスを評価するための体系的なアプローチの必要性を強調する。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic
Regularization [93.2503677723367]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Calibration-Aware Bayesian Learning [31.31288398691955]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。
ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。
予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文 参考訳(メタデータ) (2023-05-12T14:19:15Z) - A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である
既存の方法は、全変分分布の品質を特徴付ける。
配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
論文 参考訳(メタデータ) (2023-02-24T02:50:18Z) - Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文 参考訳(メタデータ) (2023-01-28T02:48:14Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z) - Meta-Learned Invariant Risk Minimization [12.6484257912092]
経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。
本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。
IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
論文 参考訳(メタデータ) (2021-03-24T02:52:48Z) - Fairness and Robustness in Invariant Learning: A Case Study in Toxicity
Classification [13.456851070400024]
不変リスク最小化(Invariant Risk Minimization、IRM)は、因果発見にインスパイアされた手法を用いて、堅牢な予測子を見つけるドメイン一般化アルゴリズムである。
IRMは経験的リスク最小化法(ERM)よりも分布外精度と公平性を向上できることを示す。
論文 参考訳(メタデータ) (2020-11-12T16:42:14Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。