論文の概要: Invariant Risk Minimization Is A Total Variation Model
- arxiv url: http://arxiv.org/abs/2405.01389v4
- Date: Thu, 16 May 2024 16:37:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 18:15:48.785241
- Title: Invariant Risk Minimization Is A Total Variation Model
- Title（参考訳）: 不変リスク最小化は全変動モデルである
- Authors: Zhao-Rong Lai, Weiwen Wang,
- Abstract要約: 不変リスク最小化(英: Invariant risk minimization、IRM)とは、機械学習において、不変の機能を様々な環境に一般化する手法である。
IRMは本質的に学習リスクのL2$(TV-$ell$)に基づく総変動であることを示す。
本稿では,TV-$ell$モデルに基づく新しいIRMフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.000494957386027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Invariant risk minimization (IRM) is an arising approach to generalize invariant features to different environments in machine learning. While most related works focus on new IRM settings or new application scenarios, the mathematical essence of IRM remains to be properly explained. We verify that IRM is essentially a total variation based on $L^2$ norm (TV-$\ell_2$) of the learning risk with respect to the classifier variable. Moreover, we propose a novel IRM framework based on the TV-$\ell_1$ model. It not only expands the classes of functions that can be used as the learning risk, but also has robust performance in denoising and invariant feature preservation based on the coarea formula. We also illustrate some requirements for IRM-TV-$\ell_1$ to achieve out-of-distribution generalization. Experimental results show that the proposed framework achieves competitive performance in several benchmark machine learning scenarios.
- Abstract（参考訳）: 不変リスク最小化(英: Invariant risk minimization、IRM)とは、機械学習において、不変の機能を様々な環境に一般化する手法である。
関連するほとんどの研究は、新しいIRM設定や新しいアプリケーションシナリオに焦点を当てているが、IRMの数学的本質は、まだ適切に説明されていない。
IRM は本質的に分類器変数に関する学習リスクの $L^2$ norm (TV-$\ell_2$) に基づく総変量であることを示す。
さらに,TV-$\ell_1$モデルに基づく新しいIRMフレームワークを提案する。
学習リスクとして使用できる関数のクラスを拡大するだけでなく、コアレア式に基づいたデノナイズおよび不変の特徴保存における堅牢な性能も備えている。
IRM-TV-$\ell_1$のアウト・オブ・ディストリビューションの一般化の要求についても述べる。
実験結果から,提案フレームワークは,いくつかのベンチマーク機械学習シナリオにおいて,競合性能を実現することが示された。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳（メタデータ） (2024-02-01T11:12:00Z) - Inverse Reinforcement Learning with Unknown Reward Model based on
Structural Risk Minimization [9.44879308639364]
逆強化学習(IRL)は通常、報酬関数のモデルが事前に特定され、パラメータのみを推定する。
単純化されたモデルは真の報酬関数を含まないが、高い複雑さを持つモデルは相当なコストと過度なリスクをもたらす。
本稿では,統計的学習から構造リスク最小化(SRM)手法を導入することで,このトレードオフに対処する。
論文 参考訳（メタデータ） (2023-12-27T13:23:17Z) - Continual Invariant Risk Minimization [46.051656238770086]
経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。
不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
論文 参考訳（メタデータ） (2023-10-21T11:44:47Z) - Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文 参考訳（メタデータ） (2023-01-28T02:48:14Z) - A Relational Intervention Approach for Unsupervised Dynamics
Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。
提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文 参考訳（メタデータ） (2022-06-09T15:01:36Z) - The Missing Invariance Principle Found -- the Reciprocal Twin of
Invariant Risk Minimization [7.6146285961466]
リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。
我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。
また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
論文 参考訳（メタデータ） (2022-05-29T00:14:51Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-18T04:39:19Z) - On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。
私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
論文 参考訳（メタデータ） (2021-02-24T04:47:55Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - An Empirical Study of Invariant Risk Minimization [5.412466703928342]
不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。
理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。
IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
論文 参考訳（メタデータ） (2020-04-10T12:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。