論文の概要: AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers

• arxiv url: http://arxiv.org/abs/2405.03481v1
• Date: Mon, 6 May 2024 13:53:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 13:36:52.044682
• Title: AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers
• Title（参考訳）: AnchorGT: スケーラブルグラフ変換器の効率的かつ柔軟なアテンションアーキテクチャ
• Authors: Wenhao Zhu, Guojie Song, Liang Wang, Shaoguo Liu,
• Abstract要約: グラフ変換器(GT)のための新しいアテンションアーキテクチャであるAnchorGTを提案する。 アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、個々のノードとアンカーの関係に着目したアテンションメカニズムを設計する。 直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャで簡単に置き換えることができる。
• 参考スコア（独自算出の注目度）: 35.04198789195943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers (GTs) have significantly advanced the field of graph representation learning by overcoming the limitations of message-passing graph neural networks (GNNs) and demonstrating promising performance and expressive power. However, the quadratic complexity of self-attention mechanism in GTs has limited their scalability, and previous approaches to address this issue often suffer from expressiveness degradation or lack of versatility. To address this issue, we propose AnchorGT, a novel attention architecture for GTs with global receptive field and almost linear complexity, which serves as a flexible building block to improve the scalability of a wide range of GT models. Inspired by anchor-based GNNs, we employ structurally important $k$-dominating node set as anchors and design an attention mechanism that focuses on the relationship between individual nodes and anchors, while retaining the global receptive field for all nodes. With its intuitive design, AnchorGT can easily replace the attention module in various GT models with different network architectures and structural encodings, resulting in reduced computational overhead without sacrificing performance. In addition, we theoretically prove that AnchorGT attention can be strictly more expressive than Weisfeiler-Lehman test, showing its superiority in representing graph structures. Our experiments on three state-of-the-art GT models demonstrate that their AnchorGT variants can achieve better results while being faster and significantly more memory efficient.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、メッセージパスグラフニューラルネットワーク(GNN)の限界を克服し、有望な性能と表現力を示すことで、グラフ表現学習の分野を大幅に進歩させた。 しかし、GTsにおける自己注意機構の二次的な複雑さはスケーラビリティを制限しており、この問題に対処するための従来のアプローチは表現力の低下や汎用性の欠如に悩まされることが多い。 この問題に対処するために,グローバルな受容場とほぼ線形な複雑性を持つGTのための新しいアテンションアーキテクチャであるAnchorGTを提案する。 アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、各ノードとアンカーの関係に着目しながら、すべてのノードに対するグローバルな受容場を維持しながら、注意機構を設計する。 直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャと構造的エンコーディングに置き換えることができ、性能を犠牲にすることなく計算オーバーヘッドを削減できる。 さらに、理論的には、アンコールGTの注意がWeisfeiler-Lehmanテストよりも厳密に表現できることを証明し、グラフ構造を表現する上でその優位性を示している。 3つの最先端GTモデルに関する実験により、より高速でメモリ効率が良く、AnchorGTの変種がより良い結果が得られることを示した。

関連論文リスト

• Rethinking Graph Transformer Architecture Design for Node Classification [4.497245600377944]
  グラフトランスフォーマー(GT)は、高次メッセージパッシングを容易にするためにマルチヘッドアテンションを利用するグラフニューラルネットワーク(GNN)の一種である。 本研究では,ノード分類タスクにおけるGTアーキテクチャの適応性を検討するための観測実験を行う。 提案したGTアーキテクチャは,グローバルノイズや計算効率の制限の影響を受けずに,ノード分類タスクに効果的に適応することができる。
  論文  参考訳（メタデータ） (2024-10-15T02:08:16Z)
• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
  高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。 内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。 TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-08T14:14:19Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer [29.217820912610602]
  グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。 ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。 本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-22T12:25:07Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。