論文の概要: Handling Distribution Shifts on Graphs: An Invariance Perspective
- arxiv url: http://arxiv.org/abs/2202.02466v5
- Date: Fri, 16 Aug 2024 08:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 21:24:14.519785
- Title: Handling Distribution Shifts on Graphs: An Invariance Perspective
- Title（参考訳）: グラフ上の分散シフトの処理:不変性の観点から
- Authors: Qitian Wu, Hengrui Zhang, Junchi Yan, David Wipf,
- Abstract要約: 我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。
EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 78.31180235269035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is increasing evidence suggesting neural networks' sensitivity to distribution shifts, so that research on out-of-distribution (OOD) generalization comes into the spotlight. Nonetheless, current endeavors mostly focus on Euclidean data, and its formulation for graph-structured data is not clear and remains under-explored, given two-fold fundamental challenges: 1) the inter-connection among nodes in one graph, which induces non-IID generation of data points even under the same environment, and 2) the structural information in the input graph, which is also informative for prediction. In this paper, we formulate the OOD problem on graphs and develop a new invariant learning approach, Explore-to-Extrapolate Risk Minimization (EERM), that facilitates graph neural networks to leverage invariance principles for prediction. EERM resorts to multiple context explorers (specified as graph structure editers in our case) that are adversarially trained to maximize the variance of risks from multiple virtual environments. Such a design enables the model to extrapolate from a single observed environment which is the common case for node-level prediction. We prove the validity of our method by theoretically showing its guarantee of a valid OOD solution and further demonstrate its power on various real-world datasets for handling distribution shifts from artificial spurious features, cross-domain transfers and dynamic graph evolution.
- Abstract（参考訳）: ニューラルネットワークの分布シフトに対する感受性を示す証拠が増加しており、アウト・オブ・ディストリビューション(OOD)の一般化の研究が注目を浴びている。
それでも、現在の取り組みは主にユークリッドのデータに焦点を当てており、グラフ構造化データの定式化は明確ではなく、未調査のままである。
1)同一環境下でも非IIDデータポイントの発生を誘導する1つのグラフ内のノード間の相互接続
2)入力グラフの構造情報は,予測にも有用である。
本稿では,グラフ上でのOOD問題を定式化し,新しい不変学習手法であるEurre-to-Extrapolate Risk Minimization(EERM)を開発した。
EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラー(この場合、グラフ構造編集器として特定される)に頼っている。
このような設計により、ノードレベルの予測の一般的なケースである単一の観測環境からモデルを外挿することができる。
提案手法の有効性は,有効なOODソリューションの保証を理論的に示すことによって証明し,さらに,人工的なスプリアス特徴やクロスドメイン転送,動的グラフの進化といった分布シフトを扱うために,様々な実世界のデータセットにその能力を示す。
関連論文リスト
- Out-of-Distribution Detection on Graphs: A Survey [58.47395497985277]
グラフアウト・オブ・ディストリビューション(GOOD)検出は、トレーニング中に見られる分布から逸脱するグラフデータを特定することに焦点を当てる。
既存の手法を,拡張ベース,再構築ベース,情報伝達ベース,分類ベースという4つのタイプに分類する。
本稿では,グラフデータによるユニークな課題を浮き彫りにして,実践的応用と理論的基礎について論じる。
論文 参考訳（メタデータ） (2025-02-12T04:07:12Z) - Generative Risk Minimization for Out-of-Distribution Generalization on Graphs [71.48583448654522]
本稿では,抽出ではなく,各入力グラフの不変部分グラフを生成するために,GRM (Generative Risk Minimization) という革新的なフレームワークを提案する。
我々は,ノードレベルのOOD一般化とグラフレベルのOOD一般化のために,さまざまな実世界のグラフデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2025-02-11T21:24:13Z) - diffIRM: A Diffusion-Augmented Invariant Risk Minimization Framework for Spatiotemporal Prediction over Graphs [6.677219861416146]
実世界のデータは、アウト・オブ・ディストリビューション(OOD)問題に悩まされるため、グラフ(GSTP)に対する時間的予測は困難である。
本研究では,これらの2つの原則を組み合わせた拡散増強型不変リスク最小化(diffIRM)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-31T06:45:47Z) - IENE: Identifying and Extrapolating the Node Environment for Out-of-Distribution Generalization on Graphs [10.087216264788097]
ノードレベルの環境識別と外挿技術に基づくグラフのOOD一般化手法であるIENEを提案する。
モデルが2つの粒度から不変性を同時に抽出する能力を強化し、一般化が向上する。
論文 参考訳（メタデータ） (2024-06-02T14:43:56Z) - Graphs Generalization under Distribution Shifts [11.963958151023732]
グラフ学習不変領域ジェネレーション(GLIDER)という新しいフレームワークを導入する。
本モデルでは,ノード特徴量と位相構造量の分布シフトを同時に行う場合,ノードレベルのOOD一般化に基づくベースライン手法よりも優れる。
論文 参考訳（メタデータ） (2024-03-25T00:15:34Z) - Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳（メタデータ） (2024-02-18T07:49:22Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Invariance Principle Meets Out-of-Distribution Generalization on Graphs [66.04137805277632]
グラフの複素性質は、OOD一般化の不変原理の採用を妨げている。
OODメソッドでしばしば必要とされるドメインや環境のパーティションは、グラフを得るために取得するのにコストがかかる。
コントラスト戦略を用いて,このプロセスを明確にモデル化する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-11T04:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。