論文の概要: Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study

• arxiv url: http://arxiv.org/abs/2509.14863v1
• Date: Thu, 18 Sep 2025 11:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.190576
• Title: Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study
• Title（参考訳）: グラフ変換器におけるグローバル・ローカル・アテンション・スキームの探索 : 実証的研究
• Authors: Zhengwei Wang, Gang Wu,
• Abstract要約: グラフ変換器(GT)はグラフ表現学習において大きな可能性を示す。 G2LFormerは、新しいグローバル・ローカル・アテンション・スキームを備えている。 グローバルレイヤからの有益な情報をローカルレイヤが保持できるように、クロスレイヤ情報融合戦略が導入された。 その結果,G2LFormerは線形複雑性を維持しながら優れた性能を示した。
• 参考スコア（独自算出の注目度）: 3.9489127159788993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers (GTs) show considerable potential in graph representation learning. The architecture of GTs typically integrates Graph Neural Networks (GNNs) with global attention mechanisms either in parallel or as a precursor to attention mechanisms, yielding a local-and-global or local-to-global attention scheme. However, as the global attention mechanism primarily captures long-range dependencies between nodes, these integration schemes may suffer from information loss, where the local neighborhood information learned by GNN could be diluted by the attention mechanism. Therefore, we propose G2LFormer, featuring a novel global-to-local attention scheme where the shallow network layers use attention mechanisms to capture global information, while the deeper layers employ GNN modules to learn local structural information, thereby preventing nodes from ignoring their immediate neighbors. An effective cross-layer information fusion strategy is introduced to allow local layers to retain beneficial information from global layers and alleviate information loss, with acceptable trade-offs in scalability. To validate the feasibility of the global-to-local attention scheme, we compare G2LFormer with state-of-the-art linear GTs and GNNs on node-level and graph-level tasks. The results indicate that G2LFormer exhibits excellent performance while keeping linear complexity.
• Abstract（参考訳）: グラフ変換器(GT)はグラフ表現学習において大きな可能性を示す。 GTのアーキテクチャは通常、グラフニューラルネットワーク(GNN)とグローバルアテンションメカニズムを並列またはアテンションメカニズムの前駆体として統合し、ローカル・アンド・グロバルまたはローカル・トゥ・グロバルアテンションスキームを生成する。 しかし,グローバルアテンション機構はノード間の長距離依存性を主に捉えているため,これらの統合方式は,GNNが学習した地域情報をアテンション機構によって希釈する情報損失に悩まされる可能性がある。 そこで我々は,G2LFormerを提案する。G2LFormerは,浅層ネットワーク層がグローバル情報をキャプチャするためのアテンション機構を用いて,より深い層がGNNモジュールを用いて局所構造情報を学習することにより,ノードが隣接ノードを無視しないようにする,新しいグローバル・ローカル・アテンション・スキームである。 グローバルレイヤからの有益な情報をローカルレイヤに保持し、情報損失を軽減するため、スケーラビリティのトレードオフを許容できる効果的なクロスレイヤ情報融合戦略が導入された。 グローバル・ローカル・アテンション・スキームの実現可能性を検証するため,G2LFormerと最先端の線形GTとGNNをノードレベルおよびグラフレベルのタスクで比較した。 その結果,G2LFormerは線形複雑性を維持しながら優れた性能を示した。

関連論文リスト

• Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering [21.941792185132996]
  Attentive Graph Clustering Network (AGCN)は、グラフが注目されているという概念を再解釈する新しいアーキテクチャである。 AGCNはアテンション機構をグラフ構造に埋め込み、効果的なグローバル情報抽出を可能にする。 我々のフレームワークは、AGCNの挙動をグラフニューラルネットワーク(GNN)やトランスフォーマーと対比するために理論解析を取り入れている。
  論文  参考訳（メタデータ） (2025-09-18T14:51:13Z)
• Contrastive Learning Meets Pseudo-label-assisted Mixup Augmentation: A Comprehensive Graph Representation Framework from Local to Global [36.077708121672565]
  我々はComGRL(Comprehensive Graph Representation Learning)と呼ばれる新しいフレームワークを提案する。 ComGRLは、ローカル情報をグローバル情報に統合し、強力な表現を導出する。 これは、フレキシブルグラフの対照的な学習を通じて、ローカル情報を暗黙的に滑らかにすることで実現される。
  論文  参考訳（メタデータ） (2025-01-30T14:03:45Z)
• Graph Triple Attention Network: A Decoupled Perspective [8.958483386270638]
  グラフトランスフォーマーは、マルチビューカオスとローカルグローバルカオスの2つの主要な課題に直面している。 我々は、GTの高レベルな分離された視点を提案し、それらを3つのコンポーネントと2つの相互作用レベルに分解する。 DeGTAというグラフトリプルアテンションネットワークを設計し、多視点アテンションを別々に計算し、多視点ローカルおよびグローバル情報を適応的に統合する。
  論文  参考訳（メタデータ） (2024-08-14T16:29:07Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)
• From Local Structures to Size Generalization in Graph Neural Networks [53.3202754533658]
  グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。 特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
  論文  参考訳（メタデータ） (2020-10-17T19:36:54Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• The Impact of Global Structural Information in Graph Neural Networks Applications [5.629161809575013]
  グラフニューラルネットワーク(GNN)は、集約戦略を定義するためにグラフ構造に依存する。 GNNの既知の制限は、レイヤーの数が増加するにつれて情報がスムースになり、切り離されることである。 いくつかのGNNモデルにグローバル情報へのアクセスを提供し、それが下流のパフォーマンスに与える影響を観察する。
  論文  参考訳（メタデータ） (2020-06-06T08:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。