論文の概要: Out-of-distribution Generalization with Causal Invariant Transformations
- arxiv url: http://arxiv.org/abs/2203.11528v1
- Date: Tue, 22 Mar 2022 08:04:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 13:11:19.786625
- Title: Out-of-distribution Generalization with Causal Invariant Transformations
- Title（参考訳）: 因果不変変換を用いた分布外一般化
- Authors: Ruoyu Wang, Mingyang Yi, Zhitang Chen, Shengyu Zhu
- Abstract要約: 本研究では,因果的特徴を明示的に回復することなく,OOD問題に対処する。
不変因果機構の設定の下で、理論的には、そのような変換がすべて利用可能であれば、最小限の最適モデルを学ぶことができる。
これらの因果不変変換の完全な集合が非現実的であることを知ることは、これらの変換のサブセットのみを知るのに十分であることを示す。
- 参考スコア（独自算出の注目度）: 17.18953986654873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, it is important and desirable to learn a model
that performs well on out-of-distribution (OOD) data. Recently, causality has
become a powerful tool to tackle the OOD generalization problem, with the idea
resting on the causal mechanism that is invariant across domains of interest.
To leverage the generally unknown causal mechanism, existing works assume a
linear form of causal feature or require sufficiently many and diverse training
domains, which are usually restrictive in practice. In this work, we obviate
these assumptions and tackle the OOD problem without explicitly recovering the
causal feature. Our approach is based on transformations that modify the
non-causal feature but leave the causal part unchanged, which can be either
obtained from prior knowledge or learned from the training data in the
multi-domain scenario. Under the setting of invariant causal mechanism, we
theoretically show that if all such transformations are available, then we can
learn a minimax optimal model across the domains using only single domain data.
Noticing that knowing a complete set of these causal invariant transformations
may be impractical, we further show that it suffices to know only a subset of
these transformations. Based on the theoretical findings, a regularized
training procedure is proposed to improve the OOD generalization capability.
Extensive experimental results on both synthetic and real datasets verify the
effectiveness of the proposed algorithm, even with only a few causal invariant
transformations.
- Abstract（参考訳）: 現実世界のアプリケーションでは、アウト・オブ・ディストリビューション(OOD)データでうまく機能するモデルを学ぶことが重要かつ望ましい。
近年、因果性はood一般化問題に取り組むための強力なツールとなり、関心領域にまたがって不変な因果メカニズムに基づくアイデアが定着している。
一般に知られていない因果的メカニズムを活用するために、既存の著作物は因果的特徴の線形形式をとるか、あるいは十分に多くの多様な訓練領域を必要とする。
本研究では,これらの仮定を排除し,因果的特徴を明示的に回復することなくOOD問題に取り組む。
このアプローチは、非因果的特徴を変更するが因果部分は変更しない変換に基づいており、事前の知識から得られるか、あるいはマルチドメインシナリオでトレーニングデータから学ぶことができる。
不変因果機構の設定の下では、そのような変換がすべて利用可能であれば、単一のドメインデータのみを用いて、各ドメインにまたがる最小限の最適モデルを学習できることが理論的に示される。
これらの因果不変変換の完全な集合が非現実的であることを知ることは、これらの変換のサブセットのみを知るのに十分であることを示す。
理論的な知見に基づいて,OODの一般化能力を向上させるための正規化訓練手法を提案する。
合成データと実データの両方に関する広範な実験の結果は、数個の因果不変量変換であっても、提案アルゴリズムの有効性を検証する。
関連論文リスト
- DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。
我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。
DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
論文 参考訳（メタデータ） (2024-02-29T07:09:01Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳（メタデータ） (2023-12-15T12:58:05Z) - Domain Generalization In Robust Invariant Representation [10.132611239890345]
本稿では,分布外データに基づく不変表現の一般化について検討する。
不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
論文 参考訳（メタデータ） (2023-04-07T00:58:30Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - Transfer learning with affine model transformation [18.13383101189326]
本稿では,アフィンモデル転送と呼ばれる,伝達学習の一般的なクラスについて述べる。
アフィンモデル転送は、ニューラル特徴抽出器に基づく最も一般的な手順を含む、様々な既存手法を幅広く包含していることが示されている。
論文 参考訳（メタデータ） (2022-10-18T10:50:24Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-27T07:36:32Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳（メタデータ） (2021-07-21T14:22:14Z) - Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。
我々は、非常に単純な変換までデータ表現の識別性を示す。
合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2021-02-24T15:38:41Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - Disentanglement by Nonlinear ICA with General Incompressible-flow
Networks (GIN) [30.74691299906988]
表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。
Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。
我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
論文 参考訳（メタデータ） (2020-01-14T16:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。