論文の概要: Vocabulary-Free Next-Event Prediction on Temporal Graphs
- arxiv url: http://arxiv.org/abs/2611.16063v1
- Date: Wed, 11 Nov 2026 22:20:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.282531
- Title: Vocabulary-Free Next-Event Prediction on Temporal Graphs
- Title(参考訳): 時間グラフの語彙自由次事象予測
- Abstract要約: GTGT(Generative Temporal Graph Transformer)は、時間グラフ上での自己教師型次世代予測のための強力なフレームワークである。
観測された目的地のイベント、新しい目的地の行動記述子、新しいイベントの前の時間ギャップを予測する。
我々の結果は、予測やその他の下流タスクのための時間グラフ事前学習への扉を開く。
- 参考スコア(独自算出の注目度): 4.860449589256661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoregressive transformer training through next-token prediction has driven remarkable advances in language modeling and has become increasingly effective for time-series modeling. Yet its success in temporal graph learning remains limited, and most temporal link-prediction methods are discriminative rather than autoregressive. While temporal graphs can have a natural serialization through chronological ordering edges, they lack an obvious graph-independent tokenization: existing node tokenization often uses a vocabulary that grows with the number of nodes, limiting scalability and cross-graph training. We propose GTGT, Generative Temporal Graph Transformer, a simple yet powerful vocabulary-free framework for self-supervised next-event prediction on temporal graphs. It predicts events for observed destinations, behavioral descriptors for novel destinations, and time gaps before new event. These targets have shared meanings across graphs, allowing one transformer to train across disjoint node sets without node-specific learned parameters. Local node identifiers let attention capture graph structure: Theoretically, we can show that our transformer-based model has the capacity for time-respecting message passing mechanisms. On Temporal Graph Benchmark (TGB), our GTGT not only achieves comparable or better link-prediction performance than established baselines, but also has much lower training cost. These results open the door to temporal graph pretraining for forecasting and other downstream tasks, providing a concrete step toward temporal graph foundation models.
- Abstract(参考訳): 次世代の予測による自己回帰変換器の訓練は言語モデリングにおいて顕著な進歩をもたらし、時系列モデリングにおいてますます効果的になっている。
しかし、時間的グラフ学習の成功は依然として限られており、ほとんどの時間的リンク予測法は自己回帰よりも差別的である。
既存のノードのトークン化は、ノードの数に応じて増加する語彙を使い、スケーラビリティやクロスグラフのトレーニングを制限する。
GTGT, 生成時空間グラフ変換器は, 時間グラフ上での自己教師付き次イベント予測のための, 単純かつ強力な語彙自由なフレームワークである。
観測された目的地のイベント、新しい目的地の行動記述子、新しいイベントの前の時間ギャップを予測する。
これらのターゲットはグラフ間で意味を共有しており、ある変換器はノード固有の学習パラメータを使わずに、非結合ノードセットをまたいでトレーニングすることができる。
理論的には、我々のトランスフォーマーベースのモデルがメッセージパッシング機構をタイムリスペクションする能力を持っていることを示すことができる。
テンポラルグラフベンチマーク(TGB)では、GTGTは既存のベースラインよりも同等あるいは優れたリンク予測性能を達成するだけでなく、トレーニングコストもはるかに低くなります。
これらの結果は、予測やその他の下流タスクのための時間グラフ事前学習への扉を開き、時間グラフ基礎モデルに向けた具体的なステップを提供する。
関連論文リスト
- Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。
G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。
それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
論文 参考訳(メタデータ) (2025-05-22T02:16:34Z) - Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。
GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
論文 参考訳(メタデータ) (2025-01-30T20:37:47Z) - Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。
非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。
11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
論文 参考訳(メタデータ) (2023-10-16T12:58:04Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - Time-aware Graph Structure Learning via Sequence Prediction on Temporal
Graphs [10.034072706245544]
時系列グラフのシーケンス予測による時間認識型グラフ構造学習(TGSL)手法を提案する。
特に、タイムアウェアなコンテキスト埋め込みを予測し、Gumble-Top-Kを使用して、このコンテキスト埋め込みに最も近い候補エッジを選択する。
時間リンク予測ベンチマークの実験は、TGSLがTGATやGraphMixerのような一般的なTGNに対して大きな利益をもたらすことを示した。
論文 参考訳(メタデータ) (2023-06-13T11:34:36Z) - Towards Real-Time Temporal Graph Learning [10.647431919265346]
本稿では、時間グラフ構築を行い、低次元ノード埋め込みを生成し、オンライン環境でニューラルネットワークモデルを訓練するエンドツーエンドグラフ学習パイプラインを提案する。
論文 参考訳(メタデータ) (2022-10-08T22:14:31Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳(メタデータ) (2022-04-11T00:58:27Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph
Link Prediction [69.1473775184952]
数発のアウトオブグラフリンク予測という現実的な問題を導入する。
我々は,新しいメタ学習フレームワークによってこの問題に対処する。
我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
論文 参考訳(メタデータ) (2020-06-11T17:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。