論文の概要: Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2206.07837v1
• Date: Wed, 15 Jun 2022 22:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:04:11.199625
• Title: Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
• Title（参考訳）: アウト・オブ・ディストリビューションの一般化に必要なデータ生成プロセスのモデリング
• Authors: Jivat Neet Kaur, Emre Kiciman, Amit Sharma
• Abstract要約: 複数のドメインから収集された実世界のデータは、複数の属性に対して複数の異なる分散シフトを持つことができる。 マルチ属性分布シフトを伴うデータセットを導入し、既存の領域一般化アルゴリズムが一般化に失敗することを確認する。 本稿では、正規化のための正しい独立制約を特定するための新しいアルゴリズムCACMを提案する。
• 参考スコア（独自算出の注目度）: 14.191073951237772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world data collected from multiple domains can have multiple, distinct distribution shifts over multiple attributes. However, state-of-the art advances in domain generalization (DG) algorithms focus only on specific shifts over a single attribute. We introduce datasets with multi-attribute distribution shifts and find that existing DG algorithms fail to generalize. To explain this, we use causal graphs to characterize the different types of shifts based on the relationship between spurious attributes and the classification label. Each multi-attribute causal graph entails different constraints over observed variables, and therefore any algorithm based on a single, fixed independence constraint cannot work well across all shifts. We present Causally Adaptive Constraint Minimization (CACM), a new algorithm for identifying the correct independence constraints for regularization. Results on fully synthetic, MNIST and small NORB datasets, covering binary and multi-valued attributes and labels, confirm our theoretical claim: correct independence constraints lead to the highest accuracy on unseen domains whereas incorrect constraints fail to do so. Our results demonstrate the importance of modeling the causal relationships inherent in the data-generating process: in many cases, it is impossible to know the correct regularization constraints without this information.
• Abstract（参考訳）: 複数のドメインから収集された実世界データは、複数の属性に対して複数の異なる分散シフトを持つことができる。 しかし、ドメイン一般化(DG)アルゴリズムの最先端は、1つの属性に対する特定のシフトのみに焦点を当てている。 マルチ属性分布シフトを伴うデータセットを導入し,既存のDGアルゴリズムが一般化に失敗することを確認した。 これを説明するために, 因果グラフを用いて, スプリアス属性と分類ラベルの関係に基づいて, 異なる種類のシフトを特徴付ける。 各多属性因果グラフは観測された変数に対する異なる制約を伴っており、従って単一の固定独立性制約に基づくアルゴリズムは全てのシフトに対してうまく機能しない。 正規化のための独立性制約を同定する新しいアルゴリズムであるcausally adaptive constraints minimization (cacm)を提案する。 完全合成,MNIST,小NORBデータセットの2値および複数値の属性とラベルに関する結果は,我々の理論的主張を裏付けるものである。 本稿では,データ生成過程に固有の因果関係をモデル化することが重要であることを示す。

関連論文リスト

• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• Graphs Generalization under Distribution Shifts [11.963958151023732]
  グラフ学習不変領域ジェネレーション(GLIDER)という新しいフレームワークを導入する。 本モデルでは,ノード特徴量と位相構造量の分布シフトを同時に行う場合,ノードレベルのOOD一般化に基づくベースライン手法よりも優れる。
  論文  参考訳（メタデータ） (2024-03-25T00:15:34Z)
• iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive Noise Models [48.33685559041322]
  本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。 提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
  論文  参考訳（メタデータ） (2023-06-30T01:48:11Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• Partial Counterfactual Identification from Observational and Experimental Data [83.798237968683]
  観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。 我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
  論文  参考訳（メタデータ） (2021-10-12T02:21:30Z)
• Instrumental Variable-Driven Domain Generalization with Unobserved Confounders [53.735614014067394]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。 観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。 第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。 第2段階では,ラベルと学習条件分布の関係を推定する。
  論文  参考訳（メタデータ） (2021-10-04T13:32:57Z)
• OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms [28.37021464780398]
  1つの分布シフトにおいて経験的リスク最小化よりも優れた既存のOoDアルゴリズムは、通常、他の分布シフトに制限があることを示す。 新しいベンチマークは、将来のOoD一般化研究で活用できる強力な基盤として機能する可能性がある。
  論文  参考訳（メタデータ） (2021-06-07T15:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。