論文の概要: Flatten Graphs as Sequences: Transformers are Scalable Graph Generators

• arxiv url: http://arxiv.org/abs/2502.02216v1
• Date: Tue, 04 Feb 2025 10:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:53.936615
• Title: Flatten Graphs as Sequences: Transformers are Scalable Graph Generators
• Title（参考訳）: シーケンスとしてのフラットグラフ: トランスフォーマーはスケーラブルグラフジェネレータである
• Authors: Dexiong Chen, Markus Krimmel, Karsten Borgwardt,
• Abstract要約: 我々は,デコーダのみの変換器を用いて,大きな属性グラフを生成する新しいフレームワークであるAutoGraphを紹介する。 私たちのアプローチの核となるのは、グラフをランダムなシーケンスに変換する可逆的な「フラット化」プロセスです。 これらのシーケンスからサンプリングと学習を行うことで、AutoGraphは変換器をモデル化し、複雑なグラフ構造を生成することができる。
• 参考スコア（独自算出の注目度）: 5.5575224613422725
• License:
• Abstract: We introduce AutoGraph, a novel autoregressive framework for generating large attributed graphs using decoder-only transformers. At the core of our approach is a reversible "flattening" process that transforms graphs into random sequences. By sampling and learning from these sequences, AutoGraph enables transformers to model and generate complex graph structures in a manner akin to natural language. In contrast to diffusion models that rely on computationally intensive node features, our approach operates exclusively on these sequences. The sampling complexity and sequence length scale linearly with the number of edges, making AutoGraph highly scalable for generating large sparse graphs. Empirically, AutoGraph achieves state-of-the-art performance across diverse synthetic and molecular graph generation benchmarks, while delivering a 100-fold generation and a 3-fold training speedup compared to leading diffusion models. Additionally, it demonstrates promising transfer capabilities and supports substructure-conditioned generation without additional fine-tuning. By extending language modeling techniques to graph generation, this work paves the way for developing graph foundation models.
• Abstract（参考訳）: 我々は,デコーダのみの変換器を用いた大規模属性グラフを生成するための,新しい自動回帰フレームワークであるAutoGraphを紹介する。 私たちのアプローチの核となるのは、グラフをランダムなシーケンスに変換する可逆的な「フラット化」プロセスです。 これらのシーケンスをサンプリングして学習することにより、AutoGraphはトランスフォーマーが自然言語に似た方法で複雑なグラフ構造をモデル化し、生成することができる。 計算集約的なノード特徴に依存する拡散モデルとは対照的に,本手法はこれらのシーケンスにのみ依存する。 サンプリングの複雑さとシーケンス長はエッジの数と線形にスケールし、AutoGraphは大きなスパースグラフを生成するのに非常にスケーラブルである。 実証的には、AutoGraphは様々な合成グラフおよび分子グラフ生成ベンチマークで最先端のパフォーマンスを達成し、主要な拡散モデルと比較して100倍の生成と3倍のトレーニングスピードアップを提供する。 さらに、有望な転送機能を示し、追加の微調整なしでサブ構造条件付き生成をサポートする。 言語モデリング技術をグラフ生成に拡張することにより、この研究はグラフ基盤モデルの開発方法を明らかにする。

関連論文リスト

• Best of Both Worlds: Advantages of Hybrid Graph Sequence Models [20.564009321626198]
  グラフ上での学習にグラフシーケンスモデルを採用するための統一フレームワークを提案する。 本稿では,グローバルおよびローカルなグラフタスクのレンズを用いて,トランスフォーマーと現代のリカレントモデルの表現能力を評価する。 GSM++は階層的親和性クラスタリング(HAC)アルゴリズムを用いてグラフを階層的シーケンスにトークン化する高速ハイブリッドモデルである。
  論文  参考訳（メタデータ） (2024-11-23T23:24:42Z)
• GraphRCG: Self-Conditioned Graph Generation [78.69810678803248]
  本稿では,グラフ分布を明示的にモデル化する自己条件付きグラフ生成フレームワークを提案する。 本フレームワークは, 既存のグラフ生成手法に比べて, 学習データに対するグラフ品質と忠実度において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-02T02:28:20Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Exphormer: Sparse Transformers for Graphs [5.055213942955148]
  パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
  論文  参考訳（メタデータ） (2023-03-10T18:59:57Z)
• Graph Generation with Diffusion Mixture [57.78958552860948]
  グラフの生成は、非ユークリッド構造の複雑な性質を理解する必要がある実世界のタスクにとって大きな課題である。 本稿では,拡散過程の最終グラフ構造を明示的に学習することにより,グラフのトポロジーをモデル化する生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T17:07:46Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Order Matters: Probabilistic Modeling of Node Sequence for Graph Generation [18.03898476141173]
  グラフ生成モデルはグラフ上の分布を定義する。 グラフ上の正確な結合確率とシーケンシャルプロセスのノード順序を導出する。 我々は,従来の手法のアドホックノード順序を使わずに,この境界を最大化してグラフ生成モデルを訓練する。
  論文  参考訳（メタデータ） (2021-06-11T06:37:52Z)
• Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
  Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。 解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。 線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
  論文  参考訳（メタデータ） (2021-05-29T08:11:40Z)
• A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs [1.6631602844999724]
  グラフ畳み込み層とグラフプーリング層をフル活用した変分オートエンコーダとトランスベースモデルを提案する。 トランスモデルは新しいノードエンコーディング層を実装し、一般的にトランスフォーマーで使用される位置エンコーディングを置き換え、グラフ上で動く位置情報を持たないトランスフォーマーを生成する。 実験では、生成ノードとエッジの両方の重要性を考慮して、分子生成のベンチマークタスクを選択しました。
  論文  参考訳（メタデータ） (2021-04-09T13:13:06Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。