論文の概要: Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix

• arxiv url: http://arxiv.org/abs/2101.07732v2
• Date: Mon, 22 Feb 2021 19:42:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:36:06.169319
• Title: Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix
• Title（参考訳）: 不変リスク最小化によるアウトオブディストリビューション予測:限界と有効修正
• Authors: Ruocheng Guo, Pengchuan Zhang, Hao Liu, Emre Kiciman
• Abstract要約: この問題に対処するために、不変リスク最小化(IRM)が提案されている。 IRMはEmphstrong $Lambda$ spuriousnessの下で劇的に劣化する。 IRMの問題を解決するためのシンプルで効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 27.521659377721885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work considers the out-of-distribution (OOD) prediction problem where (1)~the training data are from multiple domains and (2)~the test domain is unseen in the training. DNNs fail in OOD prediction because they are prone to pick up spurious correlations. Recently, Invariant Risk Minimization (IRM) is proposed to address this issue. Its effectiveness has been demonstrated in the colored MNIST experiment. Nevertheless, we find that the performance of IRM can be dramatically degraded under \emph{strong $\Lambda$ spuriousness} -- when the spurious correlation between the spurious features and the class label is strong due to the strong causal influence of their common cause, the domain label, on both of them (see Fig. 1). In this work, we try to answer the questions: why does IRM fail in the aforementioned setting? Why does IRM work for the original colored MNIST dataset? How can we fix this problem of IRM? Then, we propose a simple and effective approach to fix the problem of IRM. We combine IRM with conditional distribution matching to avoid a specific type of spurious correlation under strong $\Lambda$ spuriousness. Empirically, we design a series of semi synthetic datasets -- the colored MNIST plus, which exposes the problems of IRM and demonstrates the efficacy of the proposed method.
• Abstract（参考訳）: 本研究は,(1)複数の領域からのトレーニングデータと(2)テスト領域が学習中に認識されていない場合の分散アウトオブディストリビューション(ood)予測問題を考える。 dnnは散発的な相関関係を取る傾向があるため、ood予測に失敗する。 近年、この問題に対処するため、不変リスク最小化(IRM)が提案されている。 この効果は色付きMNIST実験で実証されている。 それにもかかわらず、これらの特徴とクラスラベルの急激な相関が、共通の原因であるドメインラベルの強い因果的影響により強い場合、IRMの性能は劇的に低下する(Fig参照)。 1). この作業では、なぜITMが上記の設定で失敗するのかという疑問に答えようとしています。 IRMはなぜオリジナルの色付きMNISTデータセットで機能するのか? IRMのこの問題を解決するには? そこで我々は,irmの問題を解決するための単純かつ効果的な手法を提案する。 IRMと条件分布マッチングを組み合わせることで,強い$\Lambda$スプリアスネスの下で,特定の種類のスプリアス相関を回避する。 経験的に、色付きMNISTプラスの一連の半合成データセットを設計し、IRMの問題を明らかにし、提案手法の有効性を実証する。

関連論文リスト

• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• What Is Missing in IRM Training and Evaluation? Challenges and Solutions [41.56612265456626]
  環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。 近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。 IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
  論文  参考訳（メタデータ） (2023-03-04T07:06:24Z)
• The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization [7.6146285961466]
  リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。 我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。 また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
  論文  参考訳（メタデータ） (2022-05-29T00:14:51Z)
• Treatment Effect Risk: Bounds and Inference [58.442274475425144]
  平均的な治療効果は社会福祉の変化を測定するため、たとえ肯定的であっても、人口の約10%に悪影響を及ぼすリスクがある。 本稿では,ICT分布のリスク条件値(CVaR)として定式化されたこの重要なリスク尺度をどう評価するかを検討する。 いくつかの境界は、複素CATE関数を単一の計量に要約したものと解釈することもでき、有界であることとは無関係に興味を持つ。
  論文  参考訳（メタデータ） (2022-01-15T17:21:26Z)
• DAIR: Data Augmented Invariant Regularization [20.364846667289374]
  本稿では,データ拡張不変正規化(DAIR)を提案する。 DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。 ドメインシフトを含む複数の実世界の学習問題に適用する。
  論文  参考訳（メタデータ） (2021-10-21T15:30:40Z)
• Meta-Learned Invariant Risk Minimization [12.6484257912092]
  経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:52:48Z)
• Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity [77.78624443410216]
  異種胸部データ検出のための改良型FDAMアルゴリズムを提案する。 本研究は,提案アルゴリズムの通信が機械数に強く依存し,精度レベルにも強く依存していることを示す。 FDAMアルゴリズムのベンチマークデータセットと、異なる組織の医療用胸部X線画像に対する効果を実験により実証した。
  論文  参考訳（メタデータ） (2021-02-09T04:05:19Z)
• Does Invariant Risk Minimization Capture Invariance? [23.399091822468407]
  我々は、Arjovskyらの不変リスク最小化(IRM)の定式化を示す。 自然」不変性を捕捉できないことがある。 これは新しい環境の一般化を悪化させる可能性がある。
  論文  参考訳（メタデータ） (2021-01-04T18:02:45Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。