論文の概要: Dissecting the Failure of Invariant Learning on Graphs

• arxiv url: http://arxiv.org/abs/2411.02847v2
• Date: Wed, 06 Nov 2024 03:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:17:53.959012
• Title: Dissecting the Failure of Invariant Learning on Graphs
• Title（参考訳）: グラフ上の不変学習の失敗を識別する
• Authors: Qixun Wang, Yifei Wang, Yisen Wang, Xianghua Ying,
• Abstract要約: 本研究では、2つの顕著な不変学習法の性能を理論的に判別する構造因果モデル(SCM)を開発した。 我々は,同じクラスに設定されたクロス環境表現をアライメントすることで,突発的特徴を明示的に排除する,クロス環境内アライメント(CIA)を提案する。 さらに、隣接ラベルの分布を利用してノード表現を選択的に整列させるCIA-LRA(Localized Reweighting Alignment)を提案する。
• 参考スコア（独自算出の注目度）: 36.11431280689549
• License:
• Abstract: Enhancing node-level Out-Of-Distribution (OOD) generalization on graphs remains a crucial area of research. In this paper, we develop a Structural Causal Model (SCM) to theoretically dissect the performance of two prominent invariant learning methods -- Invariant Risk Minimization (IRM) and Variance-Risk Extrapolation (VREx) -- in node-level OOD settings. Our analysis reveals a critical limitation: due to the lack of class-conditional invariance constraints, these methods may struggle to accurately identify the structure of the predictive invariant ego-graph and consequently rely on spurious features. To address this, we propose Cross-environment Intra-class Alignment (CIA), which explicitly eliminates spurious features by aligning cross-environment representations conditioned on the same class, bypassing the need for explicit knowledge of the causal pattern structure. To adapt CIA to node-level OOD scenarios where environment labels are hard to obtain, we further propose CIA-LRA (Localized Reweighting Alignment) that leverages the distribution of neighboring labels to selectively align node representations, effectively distinguishing and preserving invariant features while removing spurious ones, all without relying on environment labels. We theoretically prove CIA-LRA's effectiveness by deriving an OOD generalization error bound based on PAC-Bayesian analysis. Experiments on graph OOD benchmarks validate the superiority of CIA and CIA-LRA, marking a significant advancement in node-level OOD generalization. The codes are available at https://github.com/NOVAglow646/NeurIPS24-Invariant-Learning-on-Graphs.
• Abstract（参考訳）: グラフ上でのノードレベルのout-Of-Distribution(OOD)一般化の促進は依然として重要な研究領域である。 本稿では、ノードレベルのOOD設定において、不変リスク最小化(IRM)と可変リスク外挿(VREx)という2つの顕著な不変学習手法の性能を理論的に判別する構造因果モデル(SCM)を開発する。 クラス条件の不変性制約が欠如しているため、これらの手法は予測不変エゴグラフの構造を正確に識別するのに苦労し、結果として急激な特徴に依存する可能性がある。 そこで我々は,同じクラスに条件付されたクロス環境表現を協調させることにより,因果パターン構造に関する明示的な知識の必要性を回避し,突発的特徴を明示的に排除する,クロス環境イントラアライメント(CIA)を提案する。 環境ラベルを入手し難いノードレベルのOODシナリオにCIAを適応させるため,周辺ラベルの分布を利用してノード表現を選択的に整列させ,環境ラベルに依存しない素早い特徴を効果的に識別・保存するCIA-LRA(Localized Reweighting Alignment)を提案する。 PAC-Bayesian分析に基づいてOOD一般化誤差を導出することによりCIA-LRAの有効性を理論的に証明する。 グラフOODベンチマークの実験では、CIAとCIA-LRAの優位性が検証され、ノードレベルのOOD一般化が大幅に進歩した。 コードはhttps://github.com/NOVAglow646/NeurIPS24-Invariant-Learning-on-Graphsで公開されている。

関連論文リスト

• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• IENE: Identifying and Extrapolating the Node Environment for Out-of-Distribution Generalization on Graphs [10.087216264788097]
  ノードレベルの環境識別と外挿技術に基づくグラフのOOD一般化手法であるIENEを提案する。 モデルが2つの粒度から不変性を同時に抽出する能力を強化し、一般化が向上する。
  論文  参考訳（メタデータ） (2024-06-02T14:43:56Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Joint Learning of Label and Environment Causal Independence for Graph Out-of-Distribution Generalization [60.4169201192582]
  本稿では,ラベルと環境情報を完全に活用するために,ラベルと環境の因果独立(LECI)を導入することを提案する。 LECIは、合成データセットと実世界のデータセットの両方において、従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-06-01T19:33:30Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。