論文の概要: Graph Tokenization for Bridging Graphs and Transformers
- arxiv url: http://arxiv.org/abs/2603.11099v1
- Date: Wed, 11 Mar 2026 08:57:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:25.513165
- Title: Graph Tokenization for Bridging Graphs and Transformers
- Title（参考訳）: ブリッジグラフとトランスフォーマーのためのグラフトークン化
- Authors: Zeyuan Guo, Enmao Diao, Cheng Yang, Chuan Shi,
- Abstract要約: 本稿では,グラフの逐次表現を生成するグラフトークン化フレームワークを提案する。
この研究は、グラフ構造化データとシーケンスモデルのエコシステムの間のギャップを埋める。
- 参考スコア（独自算出の注目度）: 22.184950064615403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of large pretrained Transformers is closely tied to tokenizers, which convert raw input into discrete symbols. Extending these models to graph-structured data remains a significant challenge. In this work, we introduce a graph tokenization framework that generates sequential representations of graphs by combining reversible graph serialization, which preserves graph information, with Byte Pair Encoding (BPE), a widely adopted tokenizer in large language models (LLMs). To better capture structural information, the graph serialization process is guided by global statistics of graph substructures, ensuring that frequently occurring substructures appear more often in the sequence and can be merged by BPE into meaningful tokens. Empirical results demonstrate that the proposed tokenizer enables Transformers such as BERT to be directly applied to graph benchmarks without architectural modifications. The proposed approach achieves state-of-the-art results on 14 benchmark datasets and frequently outperforms both graph neural networks and specialized graph transformers. This work bridges the gap between graph-structured data and the ecosystem of sequence models. Our code is available at \href{https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers}{\color{blue}here}.
- Abstract（参考訳）: 大きな事前訓練されたトランスフォーマーの成功は、生の入力を離散的なシンボルに変換するトークン化器と密接に結びついている。
これらのモデルをグラフ構造化データに拡張することは、依然として大きな課題である。
本研究では,グラフ情報を保存する可逆グラフシリアライゼーションと,大規模言語モデル (LLM) において広く採用されているトークン化ツールであるByte Pair Encoding (BPE) を組み合わせることで,グラフの逐次表現を生成するグラフトークン化フレームワークを提案する。
構造情報をよりよく把握するために、グラフの直列化プロセスはグラフのサブストラクチャのグローバル統計によって導かれ、頻繁に発生するサブストラクチャがシーケンス中に頻繁に出現し、BPEによって意味のあるトークンにマージ可能であることを保証する。
実験により,BERTなどのトランスフォーマーをアーキテクチャ変更なしにグラフベンチマークに直接適用できることが実証された。
提案手法は、14のベンチマークデータセットの最先端結果を実現し、グラフニューラルネットワークと特殊グラフトランスフォーマーの両方で頻繁に性能を向上する。
この研究は、グラフ構造化データとシーケンスモデルのエコシステムの間のギャップを埋める。
我々のコードは \href{https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers}{\color{blue}here} で利用可能です。
関連論文リスト
- VecFormer: Towards Efficient and Generalizable Graph Transformer with Graph Token Attention [61.96837866507746]
VecFormerはノード分類のための効率的かつ高一般化可能なモデルである。
VecFormerは、パフォーマンスとスピードの両方で、既存のGraph Transformerを上回っている。
論文 参考訳（メタデータ） (2026-02-23T09:10:39Z) - Enhanced Graph Transformer with Serialized Graph Tokens [28.343061516069756]
トランスフォーマーはグラフ学習、特にノードレベルのタスクで成功している。
本稿では,グローバル信号をより効果的にカプセル化するための,新しいシリアライズトークンパラダイムを提案する。
提案手法は,いくつかのグラフレベルのベンチマークにおいて,最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2026-02-09T07:23:22Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。
本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。
既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
論文 参考訳（メタデータ） (2024-04-08T15:24:20Z) - GraphGPT: Generative Pre-trained Graph Eulerian Transformer [8.675197550607358]
グラフユーレリア変換器(GET)に基づくグラフ学習のための新しい生成事前学習モデルを提案する。
GraphGPTは、複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。
特に、生成前のトレーニングでは、パフォーマンスの向上を維持しながら、GraphGPTを20億のパラメータにスケールすることが可能である。
論文 参考訳（メタデータ） (2023-12-31T16:19:30Z) - Transformers as Graph-to-Graph Models [13.630495199720423]
トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。
我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
論文 参考訳（メタデータ） (2023-10-27T07:21:37Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - Exphormer: Sparse Transformers for Graphs [5.055213942955148]
パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。
Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
論文 参考訳（メタデータ） (2023-03-10T18:59:57Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳（メタデータ） (2023-02-06T16:26:29Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳（メタデータ） (2022-07-06T08:13:06Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。