論文の概要: Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2408.01697v1
• Date: Sat, 3 Aug 2024 07:38:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 18:51:05.670912
• Title: Invariant Graph Learning Meets Information Bottleneck for Out-of-Distribution Generalization
• Title（参考訳）: アウト・オブ・ディストリビューションの一般化のための不変グラフ学習
• Authors: Wenyu Mao, Jiancan Wu, Haoyang Liu, Yongduo Sui, Xiang Wang,
• Abstract要約: 本研究では,情報ボトルネック理論に基づく不変グラフ学習(Invariant Graph Learning)という新しいフレームワークを提案する。 具体的には,環境要因に関連するタスク関連情報を圧縮する冗長フィルタを提案する。 合成と実世界の両方のデータセットを用いた実験により,OODの一般化による最先端性能の実現が実証された。
• 参考スコア（独自算出の注目度）: 9.116601683256317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph out-of-distribution (OOD) generalization remains a major challenge in graph learning since graph neural networks (GNNs) often suffer from severe performance degradation under distribution shifts. Invariant learning, aiming to extract invariant features across varied distributions, has recently emerged as a promising approach for OOD generation. Despite the great success of invariant learning in OOD problems for Euclidean data (i.e., images), the exploration within graph data remains constrained by the complex nature of graphs. Existing studies, such as data augmentation or causal intervention, either suffer from disruptions to invariance during the graph manipulation process or face reliability issues due to a lack of supervised signals for causal parts. In this work, we propose a novel framework, called Invariant Graph Learning based on Information bottleneck theory (InfoIGL), to extract the invariant features of graphs and enhance models' generalization ability to unseen distributions. Specifically, InfoIGL introduces a redundancy filter to compress task-irrelevant information related to environmental factors. Cooperating with our designed multi-level contrastive learning, we maximize the mutual information among graphs of the same class in the downstream classification tasks, preserving invariant features for prediction to a great extent. An appealing feature of InfoIGL is its strong generalization ability without depending on supervised signal of invariance. Experiments on both synthetic and real-world datasets demonstrate that our method achieves state-of-the-art performance under OOD generalization for graph classification tasks. The source code is available at https://github.com/maowenyu-11/InfoIGL.
• Abstract（参考訳）: グラフアウト・オブ・ディストリビューション(OOD)の一般化は、グラフニューラルネットワーク(GNN)が分散シフト時に深刻なパフォーマンス劣化に悩まされるため、グラフ学習において依然として大きな課題である。 多様な分布にまたがる不変特徴を抽出することを目的とした不変学習が最近,OOD生成の有望なアプローチとして登場した。 ユークリッドデータ(すなわち画像)のOOD問題における不変学習の大きな成功にもかかわらず、グラフデータの探索はグラフの複雑な性質に制約されるままである。 データ拡張や因果介入といった既存の研究は、グラフ操作の過程で不均一化に苦しむか、因果部分の教師付き信号が欠如しているために信頼性の問題に直面している。 本研究では,情報ボトルネック理論に基づく不変グラフ学習(Invariant Graph Learning)と呼ばれる新しいフレームワークを提案する。 具体的には,環境要因に関連するタスク関連情報を圧縮する冗長フィルタを提案する。 設計したマルチレベルコントラスト学習と協調して、下流の分類タスクにおいて、同一クラスのグラフ間の相互情報を最大化し、予測のための不変性を保存する。 InfoIGLの魅力的な特徴は、教師付き不変信号に依存しない強力な一般化能力である。 合成と実世界の両方のデータセットを用いた実験により,OODの一般化によるグラフ分類タスクの最先端性能が得られた。 ソースコードはhttps://github.com/maowenyu-11/InfoIGLで入手できる。

関連論文リスト

• A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
  我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。 具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。 文献の理解を深めるために,提案した分類に基づく既存モデルを体系的に分類した。
  論文  参考訳（メタデータ） (2024-10-25T02:39:56Z)
• GALA: Graph Diffusion-based Alignment with Jigsaw for Source-free Domain Adaptation [13.317620250521124]
  ソースコードのないドメイン適応は、現実世界で多くのアプリケーションを含むため、重要な機械学習トピックである。 最近のグラフニューラルネットワーク(GNN)アプローチは、ドメインシフトとラベルの不足により、パフォーマンスが著しく低下する可能性がある。 本稿では, ソースフリーなグラフドメイン適応に適した Jigsaw (GALA) を用いたグラフ拡散に基づくアライメント法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:32:46Z)
• Empowering Graph Invariance Learning with Deep Spurious Infomax [27.53568333416706]
  本稿では,頑健かつ一般的な帰納バイアスを誘発する新しいグラフ不変性学習パラダイムを提案する。 EQuADは、合成データセットにおける様々なバイアスの度合いにまたがって安定したパフォーマンスを示し、実世界のデータセットに最大311.76%の価格で挑戦する。
  論文  参考訳（メタデータ） (2024-07-13T14:18:47Z)
• Imbalanced Graph-Level Anomaly Detection via Counterfactual Augmentation and Feature Learning [1.3756846638796]
  本稿では,非バランスなGLAD手法を提案する。 我々は、このモデルを脳疾患データセットに適用し、我々の研究の能力を証明することができる。
  論文  参考訳（メタデータ） (2024-07-13T13:40:06Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Does Invariant Graph Learning via Environment Augmentation Learn Invariance? [39.08988313527199]
  不変グラフ表現学習は、グラフの分布外一般化のために異なる環境からデータ間の不変性を学習することを目的としている。 我々は,不変グラフ学習のための変分十分性や変分整合性を含む,最小限の仮定のセットを開発する。 我々は,最大不変部分グラフをプロキシ予測に抽出することにより,OODの一般化を成功させるために,基礎となる不変部分グラフを確実に同定することを示す。
  論文  参考訳（メタデータ） (2023-10-29T14:57:37Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
  グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。 既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。 本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T16:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。