論文の概要: Scalable Graph Generative Modeling via Substructure Sequences

• arxiv url: http://arxiv.org/abs/2505.16130v1
• Date: Thu, 22 May 2025 02:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.977386
• Title: Scalable Graph Generative Modeling via Substructure Sequences
• Title（参考訳）: サブストラクチャシーケンスによるスケーラブルグラフ生成モデリング
• Authors: Zehong Wang, Zheyuan Zhang, Tianyi Ma, Chuxu Zhang, Yanfang Ye,
• Abstract要約: 本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンスをサブストラクチャのシーケンスとして表現し、生成前トレーニングを用いて一般化可能で転送可能な表現を学習する。 ogbn-arxivベンチマークでは、G$2$PMはモデルのサイズを最大60Mのパラメータで改善し続けており、かなり小さなスケールでプラトーを生成する以前の生成的アプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 37.64864614356634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) has been predominantly driven by message-passing, where node representations are iteratively updated via local neighborhood aggregation. Despite their success, message-passing suffers from fundamental limitations -- including constrained expressiveness, over-smoothing, over-squashing, and limited capacity to model long-range dependencies. These issues hinder scalability: increasing data size or model size often fails to yield improved performance, limiting the viability of GNNs as backbones for graph foundation models. In this work, we explore pathways beyond message-passing and introduce Generative Graph Pattern Machine (G$^2$PM), a generative Transformer pre-training framework for graphs. G$^2$PM represents graph instances (nodes, edges, or entire graphs) as sequences of substructures, and employs generative pre-training over the sequences to learn generalizable, transferable representations. Empirically, G$^2$PM demonstrates strong scalability: on the ogbn-arxiv benchmark, it continues to improve with model sizes up to 60M parameters, outperforming prior generative approaches that plateau at significantly smaller scales (e.g., 3M). In addition, we systematically analyze the model design space, highlighting key architectural choices that contribute to its scalability and generalization. Across diverse tasks -- including node classification, graph classification, and transfer learning -- G$^2$PM consistently outperforms strong baselines, establishing a compelling foundation for scalable graph learning. The code and dataset are available at https://github.com/Zehong-Wang/G2PM.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、主にメッセージパッシングによって駆動され、ノード表現は局所的な近傍集約を通じて反復的に更新される。 その成功にもかかわらず、メッセージパッシングには、制約付き表現性、過度なスムーシング、過剰なスキャッシング、長距離依存関係をモデル化する能力の制限など、基本的な制限がある。 データサイズやモデルサイズの増加は、パフォーマンス向上に失敗することが多く、グラフ基盤モデルのバックボーンとしてのGNNの有効性を制限します。 本研究では、メッセージパッシング以外の経路を探索し、グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$^2$PM)を導入する。 G$^2$PM はグラフインスタンス(ノード、エッジ、またはグラフ全体)を部分構造の列として表現し、一般化可能な、転送可能な表現を学習するために、配列に対して生成的な事前学習を用いる。 G$^2$PMは、強いスケーラビリティを示す:ogbn-arxivベンチマークでは、モデルのサイズを最大60Mパラメータまで改善し続けており、非常に小さなスケール(例えば、3M)でプラトーを行う以前の生成的アプローチよりも優れている。 さらに、モデル設計空間を体系的に分析し、その拡張性と一般化に寄与する重要なアーキテクチャ選択を強調した。 G$^2$PMは、ノード分類、グラフ分類、転送学習を含む、さまざまなタスクにおいて、一貫して強力なベースラインを上回り、スケーラブルなグラフ学習のための魅力的な基盤を確立します。 コードとデータセットはhttps://github.com/Zehong-Wang/G2PMで公開されている。

関連論文リスト

• Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフパターンから直接学習するためのフレームワークであるNeural Graph Pattern Machine (GPM)を提案する。 GPMは、下流タスクにおいて最も関連性の高いものを特定しながら、下位構造を効率的に抽出し、エンコードする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• What Can We Learn from State Space Models for Machine Learning on Graphs? [11.38076877943004]
  グラフ構造化データに対する状態空間モデル(SSM)の原則拡張として,グラフ状態空間畳み込み(GSSC)を提案する。 グローバルな置換同変集合アグリゲーションと分解可能なグラフカーネルを活用することにより、GSSCはSSMの3つの利点を全て保持する。 グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
  論文  参考訳（メタデータ） (2024-06-09T15:03:36Z)
• Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing [7.984586585987328]
  Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。 パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。 ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
  論文  参考訳（メタデータ） (2023-08-07T05:22:33Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Multivariate Time Series Classification with Hierarchical Variational Graph Pooling [23.66868187446734]
  既存のディープラーニングに基づくMTSC技術は、主に単一時系列の時間依存性に関係している。 MTSの表現的グローバル表現を得るために,グラフプーリングに基づく新しいフレームワークMTPoolを提案する。 10のベンチマークデータセットの実験では、MTSCタスクでMTPoolが最先端の戦略を上回っている。
  論文  参考訳（メタデータ） (2020-10-12T12:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。