論文の概要: Advective Diffusion Transformers for Topological Generalization in Graph Learning

• arxiv url: http://arxiv.org/abs/2310.06417v1
• Date: Tue, 10 Oct 2023 08:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 18:11:04.328695
• Title: Advective Diffusion Transformers for Topological Generalization in Graph Learning
• Title（参考訳）: グラフ学習における位相汎化のための随伴拡散トランス
• Authors: Qitian Wu, Chenxiao Yang, Kaipeng Zeng, Fan Nie, Michael Bronstein, Junchi Yan
• Abstract要約: グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
• 参考スコア（独自算出の注目度）: 69.2894350228753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph diffusion equations are intimately related to graph neural networks (GNNs) and have recently attracted attention as a principled framework for analyzing GNN dynamics, formalizing their expressive power, and justifying architectural choices. One key open questions in graph learning is the generalization capabilities of GNNs. A major limitation of current approaches hinges on the assumption that the graph topologies in the training and test sets come from the same distribution. In this paper, we make steps towards understanding the generalization of GNNs by exploring how graph diffusion equations extrapolate and generalize in the presence of varying graph topologies. We first show deficiencies in the generalization capability of existing models built upon local diffusion on graphs, stemming from the exponential sensitivity to topology variation. Our subsequent analysis reveals the promise of non-local diffusion, which advocates for feature propagation over fully-connected latent graphs, under the assumption of a specific data-generating condition. In addition to these findings, we propose a novel graph encoder backbone, Advective Diffusion Transformer (ADiT), inspired by advective graph diffusion equations that have a closed-form solution backed up with theoretical guarantees of desired generalization under topological distribution shifts. The new model, functioning as a versatile graph Transformer, demonstrates superior performance across a wide range of graph learning tasks.
• Abstract（参考訳）: グラフ拡散方程式はグラフニューラルネットワーク(GNN)と密接に関連しており、近年、GNNダイナミクスの分析、表現力の形式化、アーキテクチャ選択の正当化の原則として注目されている。 グラフ学習における重要な疑問の1つは、GNNの一般化能力である。 現在のアプローチの大きな制限は、トレーニングとテストセットのグラフトポロジが同じ分布から来ているという仮定にかかっている。 本稿では,グラフ拡散方程式がグラフトポロジーの存在下でどのように外挿・一般化するかを探索することにより,GNNの一般化を理解するためのステップを作成する。 まず,グラフ上の局所拡散に基づく既存モデルの一般化能力に,指数関数的感度から位相変化まで,欠陥があることを示す。 その後の分析では,特定データ生成条件を前提として,完全連結潜在グラフ上の特徴伝播を提唱する非局所拡散の公約を明らかにした。 これらの知見に加えて, 位相分布シフトの下での所望の一般化の理論的保証を裏付ける閉形式解を持つ対流グラフ拡散方程式に着想を得た新しいグラフエンコーダのバックボーン, Advective Diffusion Transformer (ADiT) を提案する。 汎用グラフ変換器として機能するこの新しいモデルは、幅広いグラフ学習タスクにおいて優れたパフォーマンスを示す。

関連論文リスト

• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
  微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した 相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。 我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
  論文  参考訳（メタデータ） (2024-03-29T15:05:57Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs [16.88394293874848]
  セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。 一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。 我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
  論文  参考訳（メタデータ） (2022-02-09T17:25:02Z)
• Generalization of graph network inferences in higher-order graphical models [5.33024001730262]
  確率的グラフィカルモデルは、複雑な統計構造を記述する強力なツールを提供する。 辺化のような推論は 一般グラフでは難解です 我々は,多変数相互作用を含むグラフィカルモデル上での高速な近似推定を実現するために,Recurrent Factor Graph Neural Network (RF-GNN) を定義する。
  論文  参考訳（メタデータ） (2021-07-12T20:51:27Z)
• GRAND: Graph Neural Diffusion [15.00135729657076]
  本稿では,連続拡散過程としてグラフの深層学習にアプローチするグラフニューラル拡散(GRAND)を提案する。 我々のモデルでは、層構造と位相は時間的および空間的作用素の離散化選択に対応する。 我々のモデルの成功の鍵は、データの摂動に対する安定性であり、これは暗黙的および明示的な離散化スキームの両方に対処する。
  論文  参考訳（メタデータ） (2021-06-21T09:10:57Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。