論文の概要: VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention
- arxiv url: http://arxiv.org/abs/2602.19622v1
- Date: Mon, 23 Feb 2026 09:10:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.74386
- Title: VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention
- Title（参考訳）: VecFormer: グラフトークンアテンションを備えた効率的で一般化可能なグラフトランスを目指して
- Authors: Jingbo Zhou, Jun Xia, Siyuan Li, Yunfan Liu, Wenjun Wang, Yufei Huang, Changxi Chi, Mutian Hong, Zhuoli Ouyang, Shu Wang, Zhongqi Wang, Xingyu Wu, Chang Yu, Stan Z. Li,
- Abstract要約: VecFormerはノード分類のための効率的かつ高一般化可能なモデルである。
VecFormerは、パフォーマンスとスピードの両方で、既存のGraph Transformerを上回っている。
- 参考スコア（独自算出の注目度）: 61.96837866507746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Transformer has demonstrated impressive capabilities in the field of graph representation learning. However, existing approaches face two critical challenges: (1) most models suffer from exponentially increasing computational complexity, making it difficult to scale to large graphs; (2) attention mechanisms based on node-level operations limit the flexibility of the model and result in poor generalization performance in out-of-distribution (OOD) scenarios. To address these issues, we propose \textbf{VecFormer} (the \textbf{Vec}tor Quantized Graph Trans\textbf{former}), an efficient and highly generalizable model for node classification, particularly under OOD settings. VecFormer adopts a two-stage training paradigm. In the first stage, two codebooks are used to reconstruct the node features and the graph structure, aiming to learn the rich semantic \texttt{Graph Codes}. In the second stage, attention mechanisms are performed at the \texttt{Graph Token} level based on the transformed cross codebook, reducing computational complexity while enhancing the model's generalization capability. Extensive experiments on datasets of various sizes demonstrate that VecFormer outperforms the existing Graph Transformer in both performance and speed.
- Abstract（参考訳）: Graph Transformerはグラフ表現学習の分野で印象的な機能を示している。
しかし、既存のアプローチでは、(1)計算複雑性が指数関数的に増大し、大きなグラフへのスケーリングが困難になる、(2)ノードレベルの演算に基づく注意機構がモデルの柔軟性を制限し、アウト・オブ・ディストリビューション(OOD)シナリオにおける一般化性能が低下する、という2つの重大な課題に直面している。
これらの問題に対処するために、特にOOD設定下でのノード分類のための効率的かつ高一般化可能なモデルである \textbf{VecFormer} (the \textbf{Vec}tor Quantized Graph Trans\textbf{former})を提案する。
VecFormerは2段階のトレーニングパラダイムを採用している。
最初の段階では、2つのコードブックを使用してノードの特徴とグラフ構造を再構築し、リッチなセマンティックな \texttt{Graph Codes} を学習する。
第2段階では、変換されたクロスコードブックに基づいて、texttt{Graph Token}レベルでアテンション機構を実行し、モデルの一般化能力を高めながら計算複雑性を低減させる。
さまざまなサイズのデータセットに対する大規模な実験により、VecFormerは、既存のGraph Transformerのパフォーマンスと速度の両方でパフォーマンスを向上している。
関連論文リスト
- GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。
textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
論文 参考訳（メタデータ） (2025-10-06T08:09:15Z) - Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。
G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。
それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
論文 参考訳（メタデータ） (2025-05-22T02:16:34Z) - DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling [10.556366638048384]
Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。
DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。
DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
論文 参考訳（メタデータ） (2024-12-06T02:59:01Z) - Learning Graph Quantized Tokenizers [28.79505338383552]
グラフ変換器(GT)は、幾何学的深層学習における主要なモデルとして登場した。
我々は、Transformerトレーニングからトークン処理器トレーニングを分離するGQT(textbfGraph textbfQuantized textbfTokenizer)を導入する。
GQTとトークン変調を組み合わせることで、Transformerエンコーダは22ベンチマーク中20ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-17T17:38:24Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2022-06-29T00:23:25Z) - Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。
DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。
DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-19T21:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。