論文の概要: An Empirical Study of Invariant Risk Minimization

• arxiv url: http://arxiv.org/abs/2004.05007v2
• Date: Mon, 6 Jul 2020 09:10:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:17:59.030354
• Title: An Empirical Study of Invariant Risk Minimization
• Title（参考訳）: 不変リスク最小化に関する実証的研究
• Authors: Yo Joong Choe, Jiyeon Ham, Kyubyong Park
• Abstract要約: 不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。 理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
• 参考スコア（独自算出の注目度）: 5.412466703928342
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Invariant risk minimization (IRM) (Arjovsky et al., 2019) is a recently proposed framework designed for learning predictors that are invariant to spurious correlations across different training environments. Yet, despite its theoretical justifications, IRM has not been extensively tested across various settings. In an attempt to gain a better understanding of the framework, we empirically investigate several research questions using IRMv1, which is the first practical algorithm proposed to approximately solve IRM. By extending the ColoredMNIST experiment in different ways, we find that IRMv1 (i) performs better as the spurious correlation varies more widely between training environments, (ii) learns an approximately invariant predictor when the underlying relationship is approximately invariant, and (iii) can be extended to an analogous setting for text classification.
• Abstract（参考訳）: invariant risk minimization (irm) (arjovsky et al., 2019) は、様々なトレーニング環境にまたがるスプリアス相関に不変な予測子を学習するために最近提案されたフレームワークである。 しかし、理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 この枠組みをよりよく理解するために、irmを概ね解くために提案された最初の実用的なアルゴリズムであるirmv1を用いて、いくつかの研究課題を実証的に検討する。 異なる方法でColoredMNIST実験を拡張することで、IRMv1が見つかる。 (i)スプリアス相関がトレーニング環境によって大きく異なるため、成績は良好である。 (ii)基礎となる関係がほぼ不変であるときに、ほぼ不変な予測子を学習し、 (iii) テキスト分類の類似設定に拡張することができる。

関連論文リスト

• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• What Is Missing in IRM Training and Evaluation? Challenges and Solutions [41.56612265456626]
  環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。 近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。 IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
  論文  参考訳（メタデータ） (2023-03-04T07:06:24Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Kernelized Heterogeneous Risk Minimization [25.5458915855661]
  我々はカーネル空間における潜伏探索と不変学習の両方を実現するカーネル化不均一リスク最小化(KerHRM)アルゴリズムを提案する。 理論的にアルゴリズムを正当化し、広範囲な実験でアルゴリズムの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-24T12:26:50Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)
• Invariant Risk Minimization Games [48.00018458720443]
  本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。 そこで我々は,本実験における最適応答力学と平衡を用いた簡単なトレーニングアルゴリズムを開発し,Arjovskyらの難解な二段階最適化問題よりもはるかに低いばらつきで,同様の,あるいは優れた経験的精度が得られることを示した。
  論文  参考訳（メタデータ） (2020-02-11T21:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。