論文の概要: What Is Missing in IRM Training and Evaluation? Challenges and Solutions
- arxiv url: http://arxiv.org/abs/2303.02343v1
- Date: Sat, 4 Mar 2023 07:06:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 20:14:39.118127
- Title: What Is Missing in IRM Training and Evaluation? Challenges and Solutions
- Title（参考訳）: IRMのトレーニングと評価に欠けていること
課題と解決策
- Authors: Yihua Zhang and Pranay Sharma and Parikshit Ram and Mingyi Hong and
Kush Varshney and Sijia Liu
- Abstract要約: 環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。
近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。
IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
- 参考スコア（独自算出の注目度）: 41.56612265456626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Invariant risk minimization (IRM) has received increasing attention as a way
to acquire environment-agnostic data representations and predictions, and as a
principled solution for preventing spurious correlations from being learned and
for improving models' out-of-distribution generalization. Yet, recent works
have found that the optimality of the originally-proposed IRM optimization
(IRM) may be compromised in practice or could be impossible to achieve in some
scenarios. Therefore, a series of advanced IRM algorithms have been developed
that show practical improvement over IRM. In this work, we revisit these recent
IRM advancements, and identify and resolve three practical limitations in IRM
training and evaluation. First, we find that the effect of batch size during
training has been chronically overlooked in previous studies, leaving room for
further improvement. We propose small-batch training and highlight the
improvements over a set of large-batch optimization techniques. Second, we find
that improper selection of evaluation environments could give a false sense of
invariance for IRM. To alleviate this effect, we leverage diversified test-time
environments to precisely characterize the invariance of IRM when applied in
practice. Third, we revisit (Ahuja et al. (2020))'s proposal to convert IRM
into an ensemble game and identify a limitation when a single invariant
predictor is desired instead of an ensemble of individual predictors. We
propose a new IRM variant to address this limitation based on a novel viewpoint
of ensemble IRM games as consensus-constrained bi-level optimization. Lastly,
we conduct extensive experiments (covering 7 existing IRM variants and 7
datasets) to justify the practical significance of revisiting IRM training and
evaluation in a principled manner.
- Abstract（参考訳）: 不変リスク最小化(invariant risk minimization, irm)は、環境に依存しないデータ表現や予測を得る手段として注目され、スプリアス相関が学習されることを防ぎ、モデルの分散的一般化を改善するための原則的な解決策として注目されている。
しかし、近年の研究により、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれるか、いくつかのシナリオでは達成できない可能性があることが判明した。
そのため、IRMよりも実用的な改善を示す一連の高度なIRMアルゴリズムが開発されている。
本稿では,最近のirmの進歩を振り返り,irmの訓練と評価における3つの実践的限界を特定し,解決する。
まず,前回の研究では,訓練中のバッチサイズの影響が慢性的に見過ごされ,さらなる改善の余地がなくなった。
本稿では,大規模バッチ最適化手法に対する改善点を強調する。
第2に,評価環境の不適切な選択は,irmに対して誤った不均一感を与える可能性がある。
この効果を緩和するため,実適用時のIRMの不均一性を正確に評価するために,多様なテスト時間環境を利用する。
第3に、IRMをアンサンブルゲームに変換するための(Ahuja et al. (2020) の提案を再検討し、個々の予測子のアンサンブルの代わりに単一の不変予測子が望まれる場合の制限を特定する。
本稿では,コンセンサス制約付きバイレベル最適化として,アンサンブルirmゲームの新しい視点に基づいて,この制限に対処する新しいirm変種を提案する。
最後に、IRMトレーニングと評価を原則的に再検討することの実践的意義を正当化するために、広範囲な実験(既存のIRMの7つの変種と7つのデータセット)を行う。
関連論文リスト
- Continual Invariant Risk Minimization [46.051656238770086]
経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。
不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
論文 参考訳（メタデータ） (2023-10-21T11:44:47Z) - Frustratingly Easy Model Generalization by Dummy Risk Minimization [38.67678021055096]
ダミーリスク最小化(DuRM)は、経験的リスク最小化(ERM)の一般化を改善するための、フラストレーション的に簡単かつ一般的な技術である。
DuRMは、ほぼ無料のランチ方式で、すべてのタスクにおけるパフォーマンスを継続的に改善できることを示す。
論文 参考訳（メタデータ） (2023-08-04T12:43:54Z) - Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文 参考訳（メタデータ） (2023-01-28T02:48:14Z) - Probable Domain Generalization via Quantile Risk Minimization [90.15831047587302]
ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。
我々はDGのための新しい確率的フレームワークを提案し、高い確率でよく動作する予測器を学習することを目指している。
論文 参考訳（メタデータ） (2022-07-20T14:41:09Z) - Pareto Invariant Risk Minimization [32.01775861630696]
我々は、パレート不変リスク最小化(PAIR)と呼ばれる、不変リスク最小化(IRM)のための新しい最適化手法を提案する。
適切なガイダンスが提供されると、PAIRは実際のIRMのバリアを克服して、本来のIRMによる障壁を克服できることを示す。
論文 参考訳（メタデータ） (2022-06-15T19:04:02Z) - The Missing Invariance Principle Found -- the Reciprocal Twin of
Invariant Risk Minimization [7.6146285961466]
リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。
我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。
また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
論文 参考訳（メタデータ） (2022-05-29T00:14:51Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Meta-Learned Invariant Risk Minimization [12.6484257912092]
経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。
本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。
IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
論文 参考訳（メタデータ） (2021-03-24T02:52:48Z) - Empirical or Invariant Risk Minimization? A Sample Complexity
Perspective [49.43806345820883]
In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。
データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。
さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
論文 参考訳（メタデータ） (2020-10-30T17:55:30Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。