論文の概要: Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention

• arxiv url: http://arxiv.org/abs/2508.17175v1
• Date: Sun, 24 Aug 2025 01:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.386497
• Title: Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
• Title（参考訳）: グラフ変換器のスケーリング:スパースとデンスアテンションの比較検討
• Authors: Leon Dimitrov,
• Abstract要約: グラフは、さまざまなドメインにまたがる構造化データをキャプチャするための機械学習における中心的な表現となっている。 グラフトランスフォーマーは、ノードが情報をグローバルに交換できるアテンションメカニズムを使用することでこれを克服する。 これら2つの注意機構を比較し、トレードオフを分析し、使用するタイミングを強調します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphs have become a central representation in machine learning for capturing relational and structured data across various domains. Traditional graph neural networks often struggle to capture long-range dependencies between nodes due to their local structure. Graph transformers overcome this by using attention mechanisms that allow nodes to exchange information globally. However, there are two types of attention in graph transformers: dense and sparse. In this paper, we compare these two attention mechanisms, analyze their trade-offs, and highlight when to use each. We also outline current challenges and problems in designing attention for graph transformers.
• Abstract（参考訳）: グラフは、さまざまなドメインにわたるリレーショナルおよび構造化データをキャプチャするための機械学習における中心的な表現となっている。 従来のグラフニューラルネットワークは、ローカル構造のため、ノード間の長距離依存関係をキャプチャするのに苦労することが多い。 グラフトランスフォーマーは、ノードが情報をグローバルに交換できるアテンションメカニズムを使用することでこれを克服する。 しかし、グラフ変換器には、密度とスパースという2つのタイプの注意がある。 本稿では,これらの2つの注意機構を比較し,それらのトレードオフを分析し,それぞれの使用時期を明らかにする。 グラフ変換器の設計における現在の課題と課題についても概説する。

関連論文リスト

• Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs [16.249474010042736]
  本稿では,グラフニューラルネットワーク(GNN)とグラフ変換器の機械的解釈性向上のための新しいツールであるAttention Graphsを紹介する。 注意グラフは、入力ノード間の情報の流れを記述するために、トランスフォーマー層とヘッドにまたがる注意行列を集約する。
  論文  参考訳（メタデータ） (2025-02-17T22:35:16Z)
• A Survey on Structure-Preserving Graph Transformers [2.5252594834159643]
  本稿では, 構造保存グラフ変換器の概要を概観し, 設計目的の観点からそれらの手法を一般化する。 また、グラフ構造を保存し、グラフの性質を理解するためのグラフトランスフォーマーモデルの課題と今後の方向性についても論じる。
  論文  参考訳（メタデータ） (2024-01-29T14:18:09Z)
• Gramformer: Learning Crowd Counting via Graph-Modulated Transformer [68.26599222077466]
  Gramformerはグラフ変調変換器で、それぞれ注意点と入力ノードの特徴を調整してネットワークを強化する。 ノードの集中位置や重要性を発見するために,特徴に基づく符号化を提案する。 提案手法の競争性を検証した4つの挑戦的群集カウントデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-01-08T13:01:54Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。