論文の概要: Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2106.06607v1
• Date: Fri, 11 Jun 2021 20:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:28:27.076792
• Title: Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization
• Title（参考訳）: Invariance Principles Meets Information Bottleneck for Out-of-Distribution Generalization
• Authors: Kartik Ahuja, Ethan Caballero, Dinghuai Zhang, Yoshua Bengio, Ioannis Mitliagkas, Irina Rish
• Abstract要約: 線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
• 参考スコア（独自算出の注目度）: 77.24152933825238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The invariance principle from causality is at the heart of notable approaches such as invariant risk minimization (IRM) that seek to address out-of-distribution (OOD) generalization failures. Despite the promising theory, invariance principle-based approaches fail in common classification tasks, where invariant (causal) features capture all the information about the label. Are these failures due to the methods failing to capture the invariance? Or is the invariance principle itself insufficient? To answer these questions, we revisit the fundamental assumptions in linear regression tasks, where invariance-based approaches were shown to provably generalize OOD. In contrast to the linear regression tasks, we show that for linear classification tasks we need much stronger restrictions on the distribution shifts, or otherwise OOD generalization is impossible. Furthermore, even with appropriate restrictions on distribution shifts in place, we show that the invariance principle alone is insufficient. We prove that a form of the information bottleneck constraint along with invariance helps address key failures when invariant features capture all the information about the label and also retains the existing success when they do not. We propose an approach that incorporates both of these principles and demonstrate its effectiveness in several experiments.
• Abstract（参考訳）: 因果関係からの不変原理は、アウト・オブ・ディストリビューション(OOD)一般化失敗に対処しようとする不変リスク最小化(IRM)のような注目すべきアプローチの中心である。 有望な理論にもかかわらず、不変原理に基づくアプローチは共通の分類タスクでは失敗し、不変(因果)な特徴がラベルに関する全ての情報をキャプチャする。 これらの失敗は、不変性を捉えない方法のためなのか? あるいは、不変原理自体が不十分なのか? これらの疑問に答えるために、線形回帰タスクの基本的な仮定を再検討し、不変性に基づくアプローチがOODを確実に一般化することを示した。 線形回帰タスクとは対照的に、線形分類タスクには分布シフトに対するより強い制限が必要であり、そうでなければOOD一般化は不可能である。 さらに,分布シフトを適切に制限しても,不変原理だけでは不十分であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。 両原理を組み込んだアプローチを提案し,その有効性をいくつかの実験で実証する。

関連論文リスト

• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• On genuine invariance learning without weight-tying [6.308539010172309]
  重み付け制約を伴わないニューラルネットワークにおける不変学習を解析する。 学習した不変性は入力データに強く条件付けられており、入力分布がシフトした場合は信頼できないことを示す。
  論文  参考訳（メタデータ） (2023-08-07T20:41:19Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• A data variation robust learning model based on importance sampling [11.285259001286978]
  本稿では,分散逸脱の制約下での損失の最悪のケースを最小限に抑える学習問題に対して,重要サンプリングに基づくデータ変動ロバスト損失(ISloss)を提案する。 提案手法は, 分布変化が大きい場合, 頑健であることを示す。
  論文  参考訳（メタデータ） (2023-02-09T04:50:06Z)
• Unimodal-Concentrated Loss: Fully Adaptive Label Distribution Learning for Ordinal Regression [32.35098925000738]
  既存のALDLアルゴリズムは、順序回帰の本質的な性質を十分に活用していないと論じる。 完全適応型ラベル分布学習(unimodal-concentated loss)のための新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-04-01T09:40:11Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。