論文の概要: Empirical or Invariant Risk Minimization? A Sample Complexity Perspective

• arxiv url: http://arxiv.org/abs/2010.16412v2
• Date: Fri, 19 Aug 2022 17:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 16:18:37.978056
• Title: Empirical or Invariant Risk Minimization? A Sample Complexity Perspective
• Title（参考訳）: 経験的または不変のリスク最小化? サンプル複雑性の観点
• Authors: Kartik Ahuja, Jun Wang, Amit Dhurandhar, Karthikeyan Shanmugam, Kush R. Varshney
• Abstract要約: In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
• 参考スコア（独自算出の注目度）: 49.43806345820883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, invariant risk minimization (IRM) was proposed as a promising solution to address out-of-distribution (OOD) generalization. However, it is unclear when IRM should be preferred over the widely-employed empirical risk minimization (ERM) framework. In this work, we analyze both these frameworks from the perspective of sample complexity, thus taking a firm step towards answering this important question. We find that depending on the type of data generation mechanism, the two approaches might have very different finite sample and asymptotic behavior. For example, in the covariate shift setting we see that the two approaches not only arrive at the same asymptotic solution, but also have similar finite sample behavior with no clear winner. For other distribution shifts such as those involving confounders or anti-causal variables, however, the two approaches arrive at different asymptotic solutions where IRM is guaranteed to be close to the desired OOD solutions in the finite sample regime, while ERM is biased even asymptotically. We further investigate how different factors -- the number of environments, complexity of the model, and IRM penalty weight -- impact the sample complexity of IRM in relation to its distance from the OOD solutions
• Abstract（参考訳）: 近年,オフ・オブ・ディストリビューション(OOD)の一般化に対処するために,不変リスク最小化(IRM)が提案されている。 しかし、IRMが広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるべき時期は不明である。 本研究では,これら2つのフレームワークをサンプル複雑性の観点から分析し,この重要な質問に答えるための確固たる一歩を踏み出した。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限標本と漸近挙動を持つ可能性がある。 例えば、共変量シフト設定では、2つのアプローチが同じ漸近解に到達するだけでなく、明らかな勝者を持たない同様の有限標本の挙動を持つことが分かる。 しかし、共同設立者や反因果変数などを含む他の分布シフトでは、2つのアプローチは異なる漸近解に到達し、IRMは有限サンプル状態において所望のOOD解に近いことが保証される一方、ERMは漸近的に偏っている。 さらに、OOD溶液からの距離に関して、異なる因子(環境数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMの試料複雑性に与える影響についても検討する。

関連論文リスト

• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• Empirical Risk Minimization with Relative Entropy Regularization [6.815730801645783]
  相対エントロピー正則化(ERM-RER)を伴う経験的リスク最小化(ERM)問題について検討した。 この問題の解が存在すれば、一意の確率測度であることが示され、互いに基準測度と絶対的に連続である。 固定されたデータセットと特定の条件の下では、経験的リスクはガウス以下の確率変数であることが示される。
  論文  参考訳（メタデータ） (2022-11-12T09:41:02Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• An Empirical Study of Invariant Risk Minimization [5.412466703928342]
  不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。 理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
  論文  参考訳（メタデータ） (2020-04-10T12:23:29Z)
• The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
  エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。 適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。 我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
  論文  参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。