論文の概要: HopFormer: Sparse Graph Transformers with Explicit Receptive Field Control

• arxiv url: http://arxiv.org/abs/2602.02268v1
• Date: Mon, 02 Feb 2026 16:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.28086
• Title: HopFormer: Sparse Graph Transformers with Explicit Receptive Field Control
• Title（参考訳）: HopFormer: 明示的な受容場制御を備えたスパースグラフ変換器
• Authors: Sanggeon Yun, Raheeb Hassan, Ryozo Masukawa, Sungheon Jeong, Mohsen Imani,
• Abstract要約: 本稿では,頭部固有のn-ホップマスクによるスパースアテンションを通じてのみ構造を注入するグラフトランスであるHopFormerを紹介する。 提案手法は, 多様なグラフ構造に対して, 競争力や優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 7.178718630094309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Transformers typically rely on explicit positional or structural encodings and dense global attention to incorporate graph topology. In this work, we show that neither is essential. We introduce HopFormer, a graph Transformer that injects structure exclusively through head-specific n-hop masked sparse attention, without the use of positional encodings or architectural modifications. This design provides explicit and interpretable control over receptive fields while enabling genuinely sparse attention whose computational cost scales linearly with mask sparsity. Through extensive experiments on both node-level and graph-level benchmarks, we demonstrate that our approach achieves competitive or superior performance across diverse graph structures. Our results further reveal that dense global attention is often unnecessary: on graphs with strong small-world properties, localized attention yields more stable and consistently high performance, while on graphs with weaker small-world effects, global attention offers diminishing returns. Together, these findings challenge prevailing assumptions in graph Transformer design and highlight sparsity-controlled attention as a principled and efficient alternative.
• Abstract（参考訳）: グラフトランスフォーマーは通常、グラフトポロジを組み込むために、明示的な位置や構造的エンコーディングと密集したグローバルな注意を頼りにしている。 この研究では、どちらも必須ではないことを示す。 我々は、位置エンコーディングやアーキテクチャ修正を使わずに、頭固有のn-ホップマスクによってのみ構造を注入するグラフトランスであるHopFormerを紹介した。 この設計により、知覚場に対する明示的かつ解釈可能な制御が提供され、計算コストがマスクの空間幅と線形にスケールする真にスパースな注意を可能にする。 ノードレベルのベンチマークとグラフレベルのベンチマークの両方に関する広範な実験を通じて、我々は様々なグラフ構造をまたいだ競合や優れた性能を実現することを実証した。 強大な小世界特性を持つグラフでは、局所的な注目はより安定し、一貫して高いパフォーマンスをもたらす一方、より弱い小世界効果を持つグラフでは、グローバルな注意はリターンを減少させる。 これらの発見は、グラフトランスフォーマー設計における一般的な仮定に挑戦し、原則的かつ効率的な代替手段として、空間制御された注意を強調する。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。