論文の概要: Meta-Learned Invariant Risk Minimization

• arxiv url: http://arxiv.org/abs/2103.12947v1
• Date: Wed, 24 Mar 2021 02:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 14:12:58.315249
• Title: Meta-Learned Invariant Risk Minimization
• Title（参考訳）: メタ学習型不変リスク最小化
• Authors: Jun-Hyun Bae, Inchul Choi, Minho Lee
• Abstract要約: 経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
• 参考スコア（独自算出の注目度）: 12.6484257912092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical Risk Minimization (ERM) based machine learning algorithms have suffered from weak generalization performance on data obtained from out-of-distribution (OOD). To address this problem, Invariant Risk Minimization (IRM) objective was suggested to find invariant optimal predictor which is less affected by the changes in data distribution. However, even with such progress, IRMv1, the practical formulation of IRM, still shows performance degradation when there are not enough training data, and even fails to generalize to OOD, if the number of spurious correlations is larger than the number of environments. In this paper, to address such problems, we propose a novel meta-learning based approach for IRM. In this method, we do not assume the linearity of classifier for the ease of optimization, and solve ideal bi-level IRM objective with Model-Agnostic Meta-Learning (MAML) framework. Our method is more robust to the data with spurious correlations and can provide an invariant optimal classifier even when data from each distribution are scarce. In experiments, we demonstrate that our algorithm not only has better OOD generalization performance than IRMv1 and all IRM variants, but also addresses the weakness of IRMv1 with improved stability.
• Abstract（参考訳）: 経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られるデータに対する一般化性能の低下に悩まされている。 この問題に対処するため,不変リスク最小化(invariant risk minimization, irm)の目的は,データ分布の変化の影響が少ない不変最適予測器を見つけることである。 しかし, IRM の実践的な定式化である IRMv1 は, 十分なトレーニングデータがない場合にも性能劣化を示し, 素因相関の数が環境数よりも大きい場合, OOD への一般化に失敗する。 本稿では,そのような問題に対処するために,新しいメタラーニング手法を提案する。 本手法では,最適化を容易にするために分類器の線形性を仮定せず,モデル非依存型メタラーニング(MAML)フレームワークを用いて理想的双方向ITM目標を解く。 本手法は,散発的な相関を持つデータに対してより頑健であり,各分布のデータが不足しても不変最適分類器を提供できる。 実験では、我々のアルゴリズムは、IRMv1およびすべてのIRM変種よりも優れたOOD一般化性能を持つだけでなく、安定性を向上したIRMv1の弱点にも対処できることを示した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• What Is Missing in IRM Training and Evaluation? Challenges and Solutions [41.56612265456626]
  環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。 近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。 IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
  論文  参考訳（メタデータ） (2023-03-04T07:06:24Z)
• The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization [7.6146285961466]
  リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。 我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。 また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
  論文  参考訳（メタデータ） (2022-05-29T00:14:51Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Fairness and Robustness in Invariant Learning: A Case Study in Toxicity Classification [13.456851070400024]
  不変リスク最小化(Invariant Risk Minimization、IRM)は、因果発見にインスパイアされた手法を用いて、堅牢な予測子を見つけるドメイン一般化アルゴリズムである。 IRMは経験的リスク最小化法(ERM)よりも分布外精度と公平性を向上できることを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:42:14Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。