論文の概要: GraphGPT: Generative Pre-trained Graph Eulerian Transformer

• arxiv url: http://arxiv.org/abs/2401.00529v2
• Date: Thu, 06 Feb 2025 15:27:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 17:44:11.315605
• Title: GraphGPT: Generative Pre-trained Graph Eulerian Transformer
• Title（参考訳）: GraphGPT: 学習済みグラフエレリア変換器
• Authors: Qifang Zhao, Weidong Ren, Tianyu Li, Hong Liu, Xingsheng He, Xiaoxiao Xu,
• Abstract要約: グラフユーレリア変換器(GET)に基づくグラフ学習のための新しい生成事前学習モデルを提案する。 GraphGPTは、複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。 特に、生成前のトレーニングでは、パフォーマンスの向上を維持しながら、GraphGPTを20億のパラメータにスケールすることが可能である。
• 参考スコア（独自算出の注目度）: 8.675197550607358
• License:
• Abstract: We introduceGraphGPT, a novel self-supervised generative pre-trained model for graph learning based on the Graph Eulerian Transformer (GET). First, we propose GET, which combines a standard transformer encoder or decoder architecture with an innovative graph-to-sequence transformation method. This method converts graphs or sampled subgraphs into sequences of tokens representing nodes, edges, and attributes in a reversible manner using Eulerian paths. We pre-train GET using either of the two self-supervised tasks: next-token prediction (NTP) and scheduled masked-token prediction (SMTP). The pre-trained model is then fine-tuned for downstream tasks such as graph-, edge-, and node-level prediction. Despite its simplicity, GraphGPT achieves performance comparable to or surpassing state-of-the-art methods on multiple large-scale Open Graph Benchmark (OGB) datasets. It demonstrates exceptional results on the molecular property prediction dataset PCQM4Mv2 and the protein-protein interaction dataset ogbl-ppa. Notably, generative pre-training enables scaling GraphGPT to 2 billion parameters while maintaining performance gains - a breakthrough that overcomes the scalability limitations of traditional Graph Neural Networks (GNNs) and prior graph transformers (GTs). To advance research in graph foundation models and facilitate scientific discovery in chemistry, materials science, and related fields, we will release the source code (https://github.com/alibaba/graph-gpt) and pre-trained checkpoints.
• Abstract（参考訳）: Graph Eulerian Transformer (GET) に基づくグラフ学習のための自己教師付き事前学習モデルであるGraphGPTを紹介する。 まず,標準的なトランスフォーマーエンコーダやデコーダアーキテクチャと,革新的なグラフからシーケンスへの変換手法を組み合わせたGETを提案する。 この方法は、グラフやサンプル化されたサブグラフを、ユーレリアパスを用いて可逆的にノード、エッジ、属性を表すトークンのシーケンスに変換する。 本研究は,Next-token Prediction (NTP) とRelayed masked-token Prediction (SMTP) のどちらかを用いてGETを事前訓練する。 事前訓練されたモデルは、グラフ、エッジ、ノードレベルの予測などの下流タスクのために微調整される。 その単純さにもかかわらず、GraphGPTは複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。 分子特性予測データセットPCQM4Mv2とタンパク質-タンパク質相互作用データセットogbl-ppaの異常な結果を示す。 これは従来のグラフニューラルネットワーク(GNN)と先行グラフトランスフォーマー(GT)のスケーラビリティ制限を克服するブレークスルーだ。 グラフ基礎モデルの研究を進め、化学・材料科学・関連分野の科学的発見を促進するため、ソースコード(https://github.com/alibaba/graph-gpt)と事前学習したチェックポイントを公開します。

関連論文リスト

• Graph Generative Pre-trained Transformer [25.611007241470645]
  この研究は、グラフをノードセットとエッジセットのシーケンスとして表現する別のアプローチを再考する。 本稿では,グラフ生成事前学習型変換器(G2PT)について紹介する。 G2PTは、ジェネリックグラフと分子データセットの両方において優れた生成性能を実現する。
  論文  参考訳（メタデータ） (2025-01-02T05:44:11Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Self-supervised Graph Masking Pre-training for Graph-to-Text Generation [5.108327983929205]
  大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。 本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。 提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2022-10-19T14:44:56Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。