論文の概要: Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration

• arxiv url: http://arxiv.org/abs/2401.17541v4
• Date: Tue, 18 Jun 2024 01:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 04:25:08.573190
• Title: Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration
• Title（参考訳）: 校正レンズによる不変リスク最小化の変数理解に向けて
• Authors: Kotaro Yoshida, Hiroki Naganuma,
• Abstract要約: 本稿では,Information BottleneckをベースとしたITMが,異なる環境における一貫したキャリブレーションを実現することを示す。 私たちの経験的証拠は、環境全体にわたって一貫した校正を示すモデルも十分に校正されていることを示している。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models traditionally assume that training and test data are independently and identically distributed. However, in real-world applications, the test distribution often differs from training. This problem, known as out-of-distribution (OOD) generalization, challenges conventional models. Invariant Risk Minimization (IRM) emerges as a solution that aims to identify invariant features across different environments to enhance OOD robustness. However, IRM's complexity, particularly its bi-level optimization, has led to the development of various approximate methods. Our study investigates these approximate IRM techniques, using the consistency and variance of calibration across environments as metrics to measure the invariance aimed for by IRM. Calibration, which measures the reliability of model prediction, serves as an indicator of whether models effectively capture environment-invariant features by showing how uniformly over-confident the model remains across varied environments. Through a comparative analysis of datasets with distributional shifts, we observe that Information Bottleneck-based IRM achieves consistent calibration across different environments. This observation suggests that information compression techniques, such as IB, are potentially effective in achieving model invariance. Furthermore, our empirical evidence indicates that models exhibiting consistent calibration across environments are also well-calibrated. This demonstrates that invariance and cross-environment calibration are empirically equivalent. Additionally, we underscore the necessity for a systematic approach to evaluating OOD generalization. This approach should move beyond traditional metrics, such as accuracy and F1 scores, which fail to account for the model's degree of over-confidence, and instead focus on the nuanced interplay between accuracy, calibration, and model invariance.
• Abstract（参考訳）: 機械学習モデルは伝統的に、トレーニングとテストデータは独立して同一に分散されていると仮定する。 しかし、実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。 この問題は、out-of-distribution (OOD) generalizationとして知られ、従来のモデルに挑戦する。 不変リスク最小化(IRM)は、OODロバスト性を高めるために、異なる環境にわたる不変機能を特定することを目的としたソリューションとして登場した。 しかし、IRMの複雑さ、特に双レベル最適化は、様々な近似手法の開発に繋がった。 本研究は, 環境間のキャリブレーションの整合性と分散を指標として, これらの近似IRM手法について検討した。 モデル予測の信頼性を計測するキャリブレーションは、モデルが様々な環境にまたがっていかに過度に信頼されているかを示すことで、モデルが環境不変の特徴を効果的に捉えているかどうかを示す指標となる。 分散シフトを伴うデータセットの比較分析により,Information BottleneckベースのIRMが,異なる環境における一貫したキャリブレーションを実現することが確認された。 IBのような情報圧縮技術はモデル不変性の実現に有効である可能性が示唆された。 さらに,環境全体にわたって一貫したキャリブレーションを示すモデルも良好に校正されていることを示す実証的な証拠も得られた。 このことは、不変性とクロス環境キャリブレーションが経験的に等価であることを示している。 さらに、OODの一般化を評価するための体系的なアプローチの必要性を強調した。 このアプローチは、正確性やF1スコアのような従来のメトリクスを超えて、モデルの過信度を考慮せず、正確性、キャリブレーション、モデルの不変性の間の微妙な相互作用に焦点を当てるべきである。

関連論文リスト

• Model aggregation: minimizing empirical variance outperforms minimizing empirical error [0.29008108937701327]
  多様なモデルからの予測を単一のより正確な出力に集約する,データ駆動型フレームワークを提案する。 モデルはブラックボックス関数として扱う、モデルに依存しない、最小限の仮定を必要とする、広範囲のモデルからの出力を組み合わせることができる。 従来の解法と機械学習モデルをうまく統合して、堅牢性と精度の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-09-25T18:33:21Z)
• Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
  本研究では,合成データを用いたモデル適応と一般化について検討する。 我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。 本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-05-03T10:05:31Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。