論文の概要: Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-training

• arxiv url: http://arxiv.org/abs/2407.03953v4
• Date: Thu, 06 Nov 2025 06:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.053512
• Title: Generalizing Graph Transformers Across Diverse Graphs and Tasks via Pre-training
• Title（参考訳）: 事前学習による多元グラフおよびタスク間のグラフ変換器の一般化
• Authors: Yufei He, Zhenyu Hou, Yukuo Cen, Jun Hu, Feng He, Xu Cheng, Jie Tang, Bryan Hooi,
• Abstract要約: PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを導入する。 従来のオートエンコーダアーキテクチャとは違って,デコーダを機能拡張に用いる新しい戦略を提案する。 我々のフレームワークは1100万のノードと160億のエッジを持つ、公開可能なogbn-papers100Mデータセットでテストされ、最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 58.17760496884059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph pre-training has been concentrated on graph-level tasks involving small graphs (e.g., molecular graphs) or learning node representations on a fixed graph. Extending graph pre-trained models to web-scale graphs with billions of nodes in industrial scenarios, while avoiding negative transfer across graphs or tasks, remains a challenge. We aim to develop a general graph pre-trained model with inductive ability that can make predictions for unseen new nodes and even new graphs. In this work, we introduce a scalable transformer-based graph pre-training framework called PGT (Pre-trained Graph Transformer). Based on the masked autoencoder architecture, we design two pre-training tasks: one for reconstructing node features and the other for reconstructing local structures. Unlike the original autoencoder architecture where the pre-trained decoder is discarded, we propose a novel strategy that utilizes the decoder for feature augmentation. Our framework, tested on the publicly available ogbn-papers100M dataset with 111 million nodes and 1.6 billion edges, achieves state-of-the-art performance, showcasing scalability and efficiency. We have deployed our framework on Tencent's online game data, confirming its capability to pre-train on real-world graphs with over 540 million nodes and 12 billion edges and to generalize effectively across diverse static and dynamic downstream tasks.
• Abstract（参考訳）: グラフ事前学習は、小さなグラフ(例えば分子グラフ)や固定グラフ上のノード表現の学習を含むグラフレベルのタスクに集中している。 グラフ事前トレーニングされたモデルを、産業シナリオにおいて数十億のノードを持つWebスケールのグラフに拡張する一方で、グラフやタスク間の負の転送を回避することは、依然として課題である。 我々は,未知の新しいノードや新しいグラフを予測できるインダクティブ能力を持つ汎用グラフ事前学習モデルを開発することを目指している。 本稿では、PGT(Pre-trained Graph Transformer)と呼ばれるスケーラブルなトランスフォーマーベースのグラフ事前学習フレームワークを提案する。 マスク付きオートエンコーダアーキテクチャに基づいて,ノード特徴の再構成と局所構造の再構築の2つの事前学習タスクを設計する。 事前学習したデコーダを破棄するオリジナルのオートエンコーダアーキテクチャとは異なり,デコーダを機能拡張に利用する新しい戦略を提案する。 我々のフレームワークは1100万のノードと160億のエッジを持つ公開可能なogbn-papers100Mデータセットでテストされ、最先端のパフォーマンスを実現し、スケーラビリティと効率を実証しています。 我々はTencentのオンラインゲームデータ上に私たちのフレームワークをデプロイし、5億4000万のノードと1200億のエッジを持つ現実世界のグラフで事前トレーニングできることを確認し、さまざまな静的および動的ダウンストリームタスクを効果的に一般化しました。

関連論文リスト

• Graph Generative Pre-trained Transformer [25.611007241470645]
  この研究は、グラフをノードセットとエッジセットのシーケンスとして表現する別のアプローチを再考する。 本稿では,グラフ生成事前学習型変換器(G2PT)について紹介する。 G2PTは、ジェネリックグラフと分子データセットの両方において優れた生成性能を実現する。
  論文  参考訳（メタデータ） (2025-01-02T05:44:11Z)
• GraphGPT: Generative Pre-trained Graph Eulerian Transformer [8.675197550607358]
  グラフユーレリア変換器(GET)に基づくグラフ学習のための新しい生成事前学習モデルを提案する。 GraphGPTは、複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。 特に、生成前のトレーニングでは、パフォーマンスの向上を維持しながら、GraphGPTを20億のパラメータにスケールすることが可能である。
  論文  参考訳（メタデータ） (2023-12-31T16:19:30Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
  新しい分散グラフ学習システムGraphThetaを紹介します。 複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。 この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
  論文  参考訳（メタデータ） (2021-04-21T14:51:33Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
  本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。 私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。 我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
  論文  参考訳（メタデータ） (2020-04-23T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。