論文の概要: Invariant Graph Transformer for Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2508.00304v1
- Date: Fri, 01 Aug 2025 04:11:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.732581
- Title: Invariant Graph Transformer for Out-of-Distribution Generalization
- Title（参考訳）: アウト・オブ・ディストリビューション一般化のための不変グラフ変換器
- Authors: Tianyin Liao, Ziwei Zhang, Yufei Sun, Chunyu Hu, Jianxin Li,
- Abstract要約: Graph Out-Of-Distribution Generalized Transformer(GOODFormer)を紹介する。
予測グラフ構造とラベルの間の不変関係を捉えることにより、一般化グラフ表現を学習することを目的とする。
本研究では,動的に変化する部分グラフの符号化情報を効果的かつ効率的に取得するために,進化する部分グラフの位置および構造エンコーダを設計する。
- 参考スコア（独自算出の注目度）: 21.60139614144787
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graph Transformers (GTs) have demonstrated great effectiveness across various graph analytical tasks. However, the existing GTs focus on training and testing graph data originated from the same distribution, but fail to generalize under distribution shifts. Graph invariant learning, aiming to capture generalizable graph structural patterns with labels under distribution shifts, is potentially a promising solution, but how to design attention mechanisms and positional and structural encodings (PSEs) based on graph invariant learning principles remains challenging. To solve these challenges, we introduce Graph Out-Of-Distribution generalized Transformer (GOODFormer), aiming to learn generalized graph representations by capturing invariant relationships between predictive graph structures and labels through jointly optimizing three modules. Specifically, we first develop a GT-based entropy-guided invariant subgraph disentangler to separate invariant and variant subgraphs while preserving the sharpness of the attention function. Next, we design an evolving subgraph positional and structural encoder to effectively and efficiently capture the encoding information of dynamically changing subgraphs during training. Finally, we propose an invariant learning module utilizing subgraph node representations and encodings to derive generalizable graph representations that can to unseen graphs. We also provide theoretical justifications for our method. Extensive experiments on benchmark datasets demonstrate the superiority of our method over state-of-the-art baselines under distribution shifts.
- Abstract（参考訳）: グラフ変換器(GT)は、様々なグラフ解析タスクにおいて大きな効果を発揮している。
しかし、既存のGTは、同じ分布から生まれたグラフデータのトレーニングとテストに重点を置いているが、分布シフトの下では一般化できない。
グラフ不変学習は、分散シフトの下でラベルで一般化可能なグラフ構造パターンをキャプチャすることを目的としており、潜在的に有望な解決策であるが、グラフ不変学習原則に基づいた注意機構や位置および構造的エンコーディング(PSE)を設計する方法は依然として難しい。
これらの課題を解決するために、予測グラフ構造とラベルの不変関係を3つのモジュールを共同最適化することによって、一般化グラフ表現を学習することを目的としたグラフアウトオブオフ分布一般化変換器(GOODFormer)を導入する。
具体的には、まず、注意関数のシャープさを保ちながら、不変部分グラフと不変部分グラフを分離するGTベースのエントロピー誘導不変部分グラフ分散器を開発する。
次に、トレーニング中に動的に変化するサブグラフの符号化情報を効果的かつ効率的に取得する、進化するサブグラフ位置および構造エンコーダを設計する。
最後に,部分グラフノード表現と符号化を利用した不変学習モジュールを提案する。
また,本手法の理論的正当性についても論じる。
ベンチマークデータセットの大規模な実験は、分布シフトの下での最先端のベースラインよりも、我々の手法が優れていることを示す。
関連論文リスト
- Generative Risk Minimization for Out-of-Distribution Generalization on Graphs [71.48583448654522]
本稿では,抽出ではなく,各入力グラフの不変部分グラフを生成するために,GRM (Generative Risk Minimization) という革新的なフレームワークを提案する。
我々は,ノードレベルのOOD一般化とグラフレベルのOOD一般化のために,さまざまな実世界のグラフデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2025-02-11T21:24:13Z) - Enhancing Distribution and Label Consistency for Graph Out-of-Distribution Generalization [45.84955654481374]
グラフOOD一般化のための2種類の一貫性向上を目的とした革新的なアプローチを導入する。
拡張グラフでは,ラベル-グラフ関係の整合性を損なうことなく,トレーニングデータを充実させる。
我々は、他の最先端のベースラインよりもフレームワークの優位性を示すために、現実世界のデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2025-01-07T19:19:22Z) - Subgraph Aggregation for Out-of-Distribution Generalization on Graphs [29.884717215947745]
SubGraph Aggregation (SuGAr)は、グラフ上のOOD一般化に不可欠な、多様なサブグラフの集合を学ぶように設計されている。
合成と実世界の両方のデータセットの実験では、SuGArは最先端の手法より優れており、グラフ上のOOD一般化を最大24%改善している。
論文 参考訳（メタデータ） (2024-10-29T16:54:37Z) - What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳（メタデータ） (2024-06-04T05:30:16Z) - Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。
本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。
経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
論文 参考訳（メタデータ） (2023-10-10T08:40:47Z) - Discrete Graph Auto-Encoder [52.50288418639075]
離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。
まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。
2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
論文 参考訳（メタデータ） (2023-06-13T12:40:39Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳（メタデータ） (2023-02-06T16:26:29Z) - Invariance Principle Meets Out-of-Distribution Generalization on Graphs [66.04137805277632]
グラフの複素性質は、OOD一般化の不変原理の採用を妨げている。
OODメソッドでしばしば必要とされるドメインや環境のパーティションは、グラフを得るために取得するのにコストがかかる。
コントラスト戦略を用いて,このプロセスを明確にモデル化する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-11T04:38:39Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T17:57:53Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。