論文の概要: Gaussian Process Limit Reveals Structural Benefits of Graph Transformers

• arxiv url: http://arxiv.org/abs/2603.17569v1
• Date: Wed, 18 Mar 2026 10:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.641402
• Title: Gaussian Process Limit Reveals Structural Benefits of Graph Transformers
• Title（参考訳）: ガウス過程の限界がグラフ変換器の構造的利点を明らかにする
• Authors: Nil Ayday, Lingchu Yang, Debarghya Ghoshdastidar,
• Abstract要約: ノードレベルの予測タスクのコンテキストにおいて、注意に基づくアーキテクチャはグラフ畳み込みネットワークよりも構造的な利点があることを示す。 具体的には、無限の幅と無限の頭を持つグラフ変換器のニューラルネットワークガウス過程限界について検討する。 具体例として,グラフトランスフォーマーがコミュニティ情報を構造的に保持し,深い層においても識別ノード表現を維持できることを示す。
• 参考スコア（独自算出の注目度）: 7.277122777390684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph transformers are the state-of-the-art for learning from graph-structured data and are empirically known to avoid several pitfalls of message-passing architectures. However, there is limited theoretical analysis on why these models perform well in practice. In this work, we prove that attention-based architectures have structural benefits over graph convolutional networks in the context of node-level prediction tasks. Specifically, we study the neural network gaussian process limits of graph transformers (GAT, Graphormer, Specformer) with infinite width and infinite heads, and derive the node-level and edge-level kernels across the layers. Our results characterise how the node features and the graph structure propagate through the graph attention layers. As a specific example, we prove that graph transformers structurally preserve community information and maintain discriminative node representations even in deep layers, thereby preventing oversmoothing. We provide empirical evidence on synthetic and real-world graphs that validate our theoretical insights, such as integrating informative priors and positional encoding can improve performance of deep graph transformers.
• Abstract（参考訳）: グラフトランスフォーマーは、グラフ構造化データから学ぶための最先端技術であり、メッセージパッシングアーキテクチャのいくつかの落とし穴を避けるために経験的に知られている。 しかし、これらのモデルが実際にうまく機能する理由については、理論的には限定的な分析がある。 本研究では,ノードレベルの予測タスクのコンテキストにおいて,注目に基づくアーキテクチャがグラフ畳み込みネットワークよりも構造的な利点を持つことを示す。 具体的には,グラフトランス (GAT, Graphormer, Specformer) の無限幅および無限の頭部を有するニューラルネットワークガウス過程限界について検討し,各層にまたがるノードレベルのカーネルとエッジレベルのカーネルを導出する。 その結果,ノードの特徴とグラフ構造がグラフアテンション層を通してどのように伝播するかが明らかになった。 具体例として,グラフトランスフォーマーがコミュニティ情報を構造的に保持し,深い層においても識別ノード表現を維持できることを示す。 我々は、情報的事前情報の統合や位置符号化といった理論的な洞察を検証できる合成グラフと実世界のグラフに関する実証的な証拠を提供することで、ディープグラフトランスフォーマーの性能を向上させることができる。

関連論文リスト

• Spectral Neural Graph Sparsification [0.21932521132244476]
  グラフは、ソーシャルネットワーク、分子化学、神経科学などの領域における複雑なシステムモデリングの中心である。 本稿では,グラフ表現学習のための新しいフレームワークであるSpectral Preservation Networkを提案する。 我々は,ノードレベルのスペーサー化に対するスペクトル保存ネットワークの有効性を,確立されたメトリクスを分析し,最先端手法に対するベンチマークによって評価する。
  論文  参考訳（メタデータ） (2025-10-31T13:51:50Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Attending to Graph Transformers [5.609943831664869]
  グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
  論文  参考訳（メタデータ） (2023-02-08T16:40:11Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• A Generalization of Transformer Networks to Graphs [5.736353542430439]
  標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。 アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
  論文  参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。