論文の概要: Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2206.07837v4
- Date: Fri, 17 May 2024 22:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 01:31:04.926702
- Title: Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
- Title(参考訳): アウト・オブ・ディストリビューションの一般化に必要なデータ生成プロセスのモデリング
- Authors: Jivat Neet Kaur, Emre Kiciman, Amit Sharma,
- Abstract要約: 実世界のデータは、しばしば異なる属性に対して複数の分散シフトを持つ。
最先端のDGアルゴリズムは、すべてのシフトに対して一貫してうまく動作しない。
我々は、データ生成プロセスに関する知識を用いて正規化のための正しい独立制約を適応的に識別し、適用するアルゴリズムであるCausally Adaptive Constraint Minimization (CACM)を開発した。
- 参考スコア(独自算出の注目度): 23.302060306322506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent empirical studies on domain generalization (DG) have shown that DG algorithms that perform well on some distribution shifts fail on others, and no state-of-the-art DG algorithm performs consistently well on all shifts. Moreover, real-world data often has multiple distribution shifts over different attributes; hence we introduce multi-attribute distribution shift datasets and find that the accuracy of existing DG algorithms falls even further. To explain these results, we provide a formal characterization of generalization under multi-attribute shifts using a canonical causal graph. Based on the relationship between spurious attributes and the classification label, we obtain realizations of the canonical causal graph that characterize common distribution shifts and show that each shift entails different independence constraints over observed variables. As a result, we prove that any algorithm based on a single, fixed constraint cannot work well across all shifts, providing theoretical evidence for mixed empirical results on DG algorithms. Based on this insight, we develop Causally Adaptive Constraint Minimization (CACM), an algorithm that uses knowledge about the data-generating process to adaptively identify and apply the correct independence constraints for regularization. Results on fully synthetic, MNIST, small NORB, and Waterbirds datasets, covering binary and multi-valued attributes and labels, show that adaptive dataset-dependent constraints lead to the highest accuracy on unseen domains whereas incorrect constraints fail to do so. Our results demonstrate the importance of modeling the causal relationships inherent in the data-generating process.
- Abstract(参考訳): 領域一般化(DG)に関する最近の実証研究は、いくつかの分布シフトでよく動作するDGアルゴリズムが他では失敗し、最先端のDGアルゴリズムがすべてのシフトで一貫してうまく機能しないことを示した。
さらに,実世界のデータは属性の異なる複数の分布シフトを持つことが多いため,マルチ属性分布シフトデータセットを導入し,既存のDGアルゴリズムの精度がさらに低下することを見出した。
これらの結果を説明するために、正準因果グラフを用いて多属性シフトの下での一般化の形式的特徴付けを提供する。
突発性属性と分類ラベルの関係に基づき,共通分布シフトを特徴付ける正準因果グラフの実現と,各シフトが観測変数に対して異なる独立性制約を持つことを示す。
その結果、1つの固定制約に基づく任意のアルゴリズムは、すべてのシフトでうまく動作せず、DGアルゴリズムの混合実験結果の理論的証拠を提供する。
この知見に基づいて、データ生成プロセスに関する知識を用いて正規化のための正しい独立性制約を適応的に識別し、適用するアルゴリズムであるCausally Adaptive Constraint Minimization (CACM)を開発した。
完全合成、MNIST、小さなNORB、ウォーターバードデータセットの2値および複数値の属性とラベルをカバーし、適応的なデータセット依存の制約が未確認領域において最も正確であることを示した。
本結果は,データ生成過程に固有の因果関係をモデル化することが重要であることを示す。
関連論文リスト
- DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。
不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。
構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。
本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
論文 参考訳(メタデータ) (2024-10-27T00:22:18Z) - Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳(メタデータ) (2024-06-07T14:29:21Z) - ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。
ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。
各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
論文 参考訳(メタデータ) (2024-05-27T02:42:33Z) - Graphs Generalization under Distribution Shifts [11.963958151023732]
グラフ学習不変領域ジェネレーション(GLIDER)という新しいフレームワークを導入する。
本モデルでは,ノード特徴量と位相構造量の分布シフトを同時に行う場合,ノードレベルのOOD一般化に基づくベースライン手法よりも優れる。
論文 参考訳(メタデータ) (2024-03-25T00:15:34Z) - iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳(メタデータ) (2023-06-30T01:48:11Z) - Effect Identification in Cluster Causal Diagrams [51.42809552422494]
クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。
C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。
我々はC-DAGに対する因果推論のための基礎と機械を開発する。
論文 参考訳(メタデータ) (2022-02-22T21:27:31Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳(メタデータ) (2021-10-12T02:21:30Z) - Instrumental Variable-Driven Domain Generalization with Unobserved
Confounders [53.735614014067394]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。
観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。
第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。
第2段階では,ラベルと学習条件分布の関係を推定する。
論文 参考訳(メタデータ) (2021-10-04T13:32:57Z) - OoD-Bench: Benchmarking and Understanding Out-of-Distribution
Generalization Datasets and Algorithms [28.37021464780398]
1つの分布シフトにおいて経験的リスク最小化よりも優れた既存のOoDアルゴリズムは、通常、他の分布シフトに制限があることを示す。
新しいベンチマークは、将来のOoD一般化研究で活用できる強力な基盤として機能する可能性がある。
論文 参考訳(メタデータ) (2021-06-07T15:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。