論文の概要: Nonlinear Invariant Risk Minimization: A Causal Approach
- arxiv url: http://arxiv.org/abs/2102.12353v1
- Date: Wed, 24 Feb 2021 15:38:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:40:00.248376
- Title: Nonlinear Invariant Risk Minimization: A Causal Approach
- Title(参考訳): 非線形不変リスク最小化:因果的アプローチ
- Authors: Chaochao Lu, Yuhuai Wu, Jo\'se Miguel Hern\'andez-Lobato, Bernhard
Sch\"olkopf
- Abstract要約: 非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。
我々は、非常に単純な変換までデータ表現の識別性を示す。
合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
- 参考スコア(独自算出の注目度): 5.63479133344366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to spurious correlations, machine learning systems often fail to
generalize to environments whose distributions differ from the ones used at
training time. Prior work addressing this, either explicitly or implicitly,
attempted to find a data representation that has an invariant causal
relationship with the target. This is done by leveraging a diverse set of
training environments to reduce the effect of spurious features and build an
invariant predictor. However, these methods have generalization guarantees only
when both data representation and classifiers come from a linear model class.
We propose Invariant Causal Representation Learning (ICRL), a learning paradigm
that enables out-of-distribution (OOD) generalization in the nonlinear setting
(i.e., nonlinear representations and nonlinear classifiers). It builds upon a
practical and general assumption: the prior over the data representation
factorizes when conditioning on the target and the environment. Based on this,
we show identifiability of the data representation up to very simple
transformations. We also prove that all direct causes of the target can be
fully discovered, which further enables us to obtain generalization guarantees
in the nonlinear setting. Extensive experiments on both synthetic and
real-world datasets show that our approach significantly outperforms a variety
of baseline methods. Finally, in the concluding discussion, we further explore
the aforementioned assumption and propose a general view, called the Agnostic
Hypothesis: there exist a set of hidden causal factors affecting both inputs
and outcomes. The Agnostic Hypothesis can provide a unifying view of machine
learning in terms of representation learning. More importantly, it can inspire
a new direction to explore the general theory for identifying hidden causal
factors, which is key to enabling the OOD generalization guarantees in machine
learning.
- Abstract(参考訳): スプリアス相関のため、機械学習システムは、トレーニング時に使用するものと分布が異なる環境に一般化できないことが多い。
これに対処する以前の作業は、明示的にも暗黙的にも、ターゲットと不変因果関係を持つデータ表現を見つけようとした。
これは、多種多様なトレーニング環境を活用して、スプリアス機能の効果を低減し、不変な予測器を構築することによって行われる。
しかし、これらのメソッドは、データ表現と分類器の両方が線形モデルクラスから来る場合にのみ、一般化を保証する。
非線形設定(非線形表現と非線形分類器)における分布外(OOD)一般化を可能にする学習パラダイムであるInvariant Causal Representation Learning (ICRL)を提案する。
データ表現の優先度は、ターゲットと環境のコンディショニング時に決定されます。
これに基づいて、データ表現の識別可能性を非常に単純な変換まで示す。
また, 対象の直接的原因を完全発見できることを証明し, 非線形設定における一般化保証を得ることができた。
合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
最後に、結論議論では、上記の仮定をさらに検討し、Agnostic Hypothesisと呼ばれる一般的な見解を提案します:入力と結果の両方に影響を与える隠された因果要因のセットがあります。
Agnostic Hypothesisは、表現学習の観点から機械学習の統一的なビューを提供することができる。
さらに重要なのは、機械学習におけるOOD一般化の保証を可能にする鍵となる、隠れた因果要因を特定するための一般論を探求する新しい方向を刺激することである。
関連論文リスト
- Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - Effect-Invariant Mechanisms for Policy Generalization [3.701112941066256]
不変条件分布を利用して、目に見えない環境をより一般化するモデルを学ぶことが提案されている。
効果不変性(英語版)と呼ばれる完全な不変性の緩和を導入し、ゼロショットポリシーの一般化には適切な仮定の下で十分であることを示す。
シミュレーションデータと移動体保健介入データセットを用いて実験結果を提示し,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-06-19T14:50:24Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。
ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。
本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
論文 参考訳(メタデータ) (2023-01-10T08:25:24Z) - Causal Discovery in Heterogeneous Environments Under the Sparse
Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。
実際、この仮定は環境間の分散シフトによってほとんど常に破られる。
そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文 参考訳(メタデータ) (2022-06-04T15:39:30Z) - Causal Transportability for Visual Recognition [70.13627281087325]
画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。
次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。
これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
論文 参考訳(メタデータ) (2022-04-26T15:02:11Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。