論文の概要: Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2408.01697v1
- Date: Sat, 3 Aug 2024 07:38:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 18:51:05.670912
- Title: Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization
- Title(参考訳): アウト・オブ・ディストリビューションの一般化のための不変グラフ学習
- Authors: Wenyu Mao, Jiancan Wu, Haoyang Liu, Yongduo Sui, Xiang Wang,
- Abstract要約: 本研究では,情報ボトルネック理論に基づく不変グラフ学習(Invariant Graph Learning)という新しいフレームワークを提案する。
具体的には,環境要因に関連するタスク関連情報を圧縮する冗長フィルタを提案する。
合成と実世界の両方のデータセットを用いた実験により,OODの一般化による最先端性能の実現が実証された。
- 参考スコア(独自算出の注目度): 9.116601683256317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph out-of-distribution (OOD) generalization remains a major challenge in graph learning since graph neural networks (GNNs) often suffer from severe performance degradation under distribution shifts. Invariant learning, aiming to extract invariant features across varied distributions, has recently emerged as a promising approach for OOD generation. Despite the great success of invariant learning in OOD problems for Euclidean data (i.e., images), the exploration within graph data remains constrained by the complex nature of graphs. Existing studies, such as data augmentation or causal intervention, either suffer from disruptions to invariance during the graph manipulation process or face reliability issues due to a lack of supervised signals for causal parts. In this work, we propose a novel framework, called Invariant Graph Learning based on Information bottleneck theory (InfoIGL), to extract the invariant features of graphs and enhance models' generalization ability to unseen distributions. Specifically, InfoIGL introduces a redundancy filter to compress task-irrelevant information related to environmental factors. Cooperating with our designed multi-level contrastive learning, we maximize the mutual information among graphs of the same class in the downstream classification tasks, preserving invariant features for prediction to a great extent. An appealing feature of InfoIGL is its strong generalization ability without depending on supervised signal of invariance. Experiments on both synthetic and real-world datasets demonstrate that our method achieves state-of-the-art performance under OOD generalization for graph classification tasks. The source code is available at https://github.com/maowenyu-11/InfoIGL.
- Abstract(参考訳): グラフアウト・オブ・ディストリビューション(OOD)の一般化は、グラフニューラルネットワーク(GNN)が分散シフト時に深刻なパフォーマンス劣化に悩まされるため、グラフ学習において依然として大きな課題である。
多様な分布にまたがる不変特徴を抽出することを目的とした不変学習が最近,OOD生成の有望なアプローチとして登場した。
ユークリッドデータ(すなわち画像)のOOD問題における不変学習の大きな成功にもかかわらず、グラフデータの探索はグラフの複雑な性質に制約されるままである。
データ拡張や因果介入といった既存の研究は、グラフ操作の過程で不均一化に苦しむか、因果部分の教師付き信号が欠如しているために信頼性の問題に直面している。
本研究では,情報ボトルネック理論に基づく不変グラフ学習(Invariant Graph Learning)と呼ばれる新しいフレームワークを提案する。
具体的には,環境要因に関連するタスク関連情報を圧縮する冗長フィルタを提案する。
設計したマルチレベルコントラスト学習と協調して、下流の分類タスクにおいて、同一クラスのグラフ間の相互情報を最大化し、予測のための不変性を保存する。
InfoIGLの魅力的な特徴は、教師付き不変信号に依存しない強力な一般化能力である。
合成と実世界の両方のデータセットを用いた実験により,OODの一般化によるグラフ分類タスクの最先端性能が得られた。
ソースコードはhttps://github.com/maowenyu-11/InfoIGLで入手できる。
関連論文リスト
- Empowering Graph Invariance Learning with Deep Spurious Infomax [27.53568333416706]
本稿では,頑健かつ一般的な帰納バイアスを誘発する新しいグラフ不変性学習パラダイムを提案する。
EQuADは、合成データセットにおける様々なバイアスの度合いにまたがって安定したパフォーマンスを示し、実世界のデータセットに最大311.76%の価格で挑戦する。
論文 参考訳(メタデータ) (2024-07-13T14:18:47Z) - Imbalanced Graph-Level Anomaly Detection via Counterfactual Augmentation and Feature Learning [1.3756846638796]
本稿では,非バランスなGLAD手法を提案する。
我々は、このモデルを脳疾患データセットに適用し、我々の研究の能力を証明することができる。
論文 参考訳(メタデータ) (2024-07-13T13:40:06Z) - Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - Data Augmentation for Supervised Graph Outlier Detection with Latent
Diffusion Models [42.19529054800729]
本稿では,遅延拡散モデルを用いた教師付きグラフ外乱検出において,クラス不均衡を緩和する新しいデータ拡張であるGODMを紹介する。
提案手法は,(1)Variantioanlがグラフデータ内に存在する異種情報を統一潜在空間にマッピングし,(2)グラフ生成器が潜在空間から実際の外れ値に統計的に類似したグラフデータを合成し,(3)潜時拡散モデルが反復分解により実際の有機データの潜時空間分布を学習する,という3つの重要な要素から構成される。
論文 参考訳(メタデータ) (2023-12-29T16:50:40Z) - Does Invariant Graph Learning via Environment Augmentation Learn
Invariance? [39.08988313527199]
不変グラフ表現学習は、グラフの分布外一般化のために異なる環境からデータ間の不変性を学習することを目的としている。
我々は,不変グラフ学習のための変分十分性や変分整合性を含む,最小限の仮定のセットを開発する。
我々は,最大不変部分グラフをプロキシ予測に抽出することにより,OODの一般化を成功させるために,基礎となる不変部分グラフを確実に同定することを示す。
論文 参考訳(メタデータ) (2023-10-29T14:57:37Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳(メタデータ) (2023-08-16T13:10:27Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳(メタデータ) (2023-05-29T04:51:09Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z) - OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。
既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。
本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
論文 参考訳(メタデータ) (2021-12-07T16:29:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。