論文の概要: Graph Generative Pre-trained Transformer

• arxiv url: http://arxiv.org/abs/2501.01073v1
• Date: Thu, 02 Jan 2025 05:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:09.159682
• Title: Graph Generative Pre-trained Transformer
• Title（参考訳）: グラフ生成事前学習変換器
• Authors: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu,
• Abstract要約: この研究は、グラフをノードセットとエッジセットのシーケンスとして表現する別のアプローチを再考する。 本稿では,グラフ生成事前学習型変換器(G2PT)について紹介する。 G2PTは、ジェネリックグラフと分子データセットの両方において優れた生成性能を実現する。
• 参考スコア（独自算出の注目度）: 25.611007241470645
• License:
• Abstract: Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.
• Abstract（参考訳）: グラフ生成は、複雑な関係や構造化されたデータをモデル化できるため、分子設計やソーシャルネットワーク分析など、多くの領域において重要なタスクである。 ほとんどの現代のグラフ生成モデルは隣接行列表現を用いるが、この研究はグラフをノードセットとエッジセットのシーケンスとして表現する別のアプローチを再考する。 グラフの効率的な符号化により,このアプローチを提唱し,新しい表現法を提案する。 この表現に基づいて,グラフ生成事前学習型変換器(G2PT)を導入し,次点予測によりグラフ構造を学習する自動回帰モデルを提案する。 汎用基盤モデルとしてのG2PTの機能をさらに活用するために、目標指向生成とグラフ特性予測という2つの下流アプリケーションのための微調整戦略を検討する。 複数のデータセットにまたがる広範な実験を行う。 その結果,G2PTは汎用グラフと分子データセットの両方において優れた生成性能を示すことがわかった。 さらに、G2PTは、分子設計から特性予測に至るまで、下流タスクに強い適応性と汎用性を示す。

関連論文リスト

• Dual-Optimized Adaptive Graph Reconstruction for Multi-View Graph Clustering [19.419832637206138]
  本稿では, DOAGC という2つの最適化された適応グラフ再構成に基づく新しいマルチビューグラフクラスタリング手法を提案する。 主に、従来のGNNの利点を維持しつつ、異種グラフ問題に対処するために、従来のGNNに適合したグラフ構造を再構築することを目的としている。
  論文  参考訳（メタデータ） (2024-10-30T12:50:21Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns [13.378277755978258]
  プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。 下流グラフの生成パターンを保存するためにG-Tuningを提案する。 G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
  論文  参考訳（メタデータ） (2023-12-21T05:17:10Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Graph Property Prediction on Open Graph Benchmark: A Winning Solution by Graph Neural Architecture Search [37.89305885538052]
  PAS(Pooling Architecture Search)を導入してグラフ分類タスクのためのグラフニューラルネットワークフレームワークを設計する。 本稿では,GNNトポロジ設計手法であるF2GNNに基づいて改良を行い,グラフ特性予測タスクにおけるモデルの性能をさらに向上させる。 NAS法は,複数のタスクに対して高い一般化能力を有し,グラフ特性予測タスクの処理における本手法の利点が証明された。
  論文  参考訳（メタデータ） (2022-07-13T08:17:48Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。