論文の概要: Does Invariant Risk Minimization Capture Invariance?

• arxiv url: http://arxiv.org/abs/2101.01134v2
• Date: Fri, 26 Feb 2021 23:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 23:05:48.526255
• Title: Does Invariant Risk Minimization Capture Invariance?
• Title（参考訳）: 不変リスク最小化は不変量を取るか?
• Authors: Pritish Kamath and Akilesh Tangella and Danica J. Sutherland and Nathan Srebro
• Abstract要約: 我々は、Arjovskyらの不変リスク最小化(IRM)の定式化を示す。 自然」不変性を捕捉できないことがある。 これは新しい環境の一般化を悪化させる可能性がある。
• 参考スコア（独自算出の注目度）: 23.399091822468407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the Invariant Risk Minimization (IRM) formulation of Arjovsky et al. (2019) can fail to capture "natural" invariances, at least when used in its practical "linear" form, and even on very simple problems which directly follow the motivating examples for IRM. This can lead to worse generalization on new environments, even when compared to unconstrained ERM. The issue stems from a significant gap between the linear variant (as in their concrete method IRMv1) and the full non-linear IRM formulation. Additionally, even when capturing the "right" invariances, we show that it is possible for IRM to learn a sub-optimal predictor, due to the loss function not being invariant across environments. The issues arise even when measuring invariance on the population distributions, but are exacerbated by the fact that IRM is extremely fragile to sampling.
• Abstract（参考訳）: 本稿では,Arjovskyらによる不変リスク最小化(IRM)の定式化について述べる。 (2019)は、少なくとも実用的な「線形」形式や、IRMのモチベーションのある例に直従する非常に単純な問題において、「自然な」不変性を捉えることができない。 これは、制約のないermと比較しても、新しい環境の一般化を悪化させる可能性がある。 この問題は、線形変種(具体的にはIRMv1)と完全な非線形IRMの定式化の間の大きなギャップに起因する。 さらに, 「右」 不変量を捕捉しても, 環境間の損失関数が不変でないため, IRM が準最適予測器を学習することは可能であることを示す。 この問題は人口分布の不均一性を測定する際にも生じるが、IRMがサンプリングに非常に脆弱であるという事実によりさらに悪化する。

関連論文リスト

• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization [7.6146285961466]
  リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。 我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。 また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
  論文  参考訳（メタデータ） (2022-05-29T00:14:51Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Meta-Learned Invariant Risk Minimization [12.6484257912092]
  経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:52:48Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。