論文の概要: Large Generative Graph Models

• arxiv url: http://arxiv.org/abs/2406.05109v1
• Date: Fri, 7 Jun 2024 17:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:02:56.881455
• Title: Large Generative Graph Models
• Title（参考訳）: 大規模生成グラフモデル
• Authors: Yu Wang, Ryan A. Rossi, Namyong Park, Huiyuan Chen, Nesreen K. Ahmed, Puja Trivedi, Franck Dernoncourt, Danai Koutra, Tyler Derr,
• Abstract要約: 大規模グラフ生成モデル(LGGM)と呼ばれる新しいグラフ生成モデルを提案する。 事前訓練されたLGGMは、既存のグラフ生成モデルよりもゼロショット生成能力が優れている。 LGGMは、ターゲットドメインからのグラフで簡単に微調整でき、スクラッチから直接トレーニングされたグラフよりも、さらに優れたパフォーマンスを示すことができる。
• 参考スコア（独自算出の注目度）: 74.58859158271169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Generative Models (LGMs) such as GPT, Stable Diffusion, Sora, and Suno are trained on a huge amount of language corpus, images, videos, and audio that are extremely diverse from numerous domains. This training paradigm over diverse well-curated data lies at the heart of generating creative and sensible content. However, all previous graph generative models (e.g., GraphRNN, MDVAE, MoFlow, GDSS, and DiGress) have been trained only on one dataset each time, which cannot replicate the revolutionary success achieved by LGMs in other fields. To remedy this crucial gap, we propose a new class of graph generative model called Large Graph Generative Model (LGGM) that is trained on a large corpus of graphs (over 5000 graphs) from 13 different domains. We empirically demonstrate that the pre-trained LGGM has superior zero-shot generative capability to existing graph generative models. Furthermore, our pre-trained LGGM can be easily fine-tuned with graphs from target domains and demonstrate even better performance than those directly trained from scratch, behaving as a solid starting point for real-world customization. Inspired by Stable Diffusion, we further equip LGGM with the capability to generate graphs given text prompts (Text-to-Graph), such as the description of the network name and domain (i.e., "The power-1138-bus graph represents a network of buses in a power distribution system."), and network statistics (i.e., "The graph has a low average degree, suitable for modeling social media interactions."). This Text-to-Graph capability integrates the extensive world knowledge in the underlying language model, offering users fine-grained control of the generated graphs. We release the code, the model checkpoint, and the datasets at https://lggm-lg.github.io/.
• Abstract（参考訳）: GPT、Stable Diffusion、Sora、Sunoといった大規模生成モデル(LGM)は、多数のドメインから非常に多様な大量の言語コーパス、画像、ビデオ、オーディオを訓練している。 多様な精度の高いデータに対するこのトレーニングパラダイムは、創造的で賢明なコンテンツを生み出す中心にあります。 しかし、これまでのグラフ生成モデル(例えば、GraphRNN、MDVAE、MoFlow、GDSS、DiGress)は、一度に1つのデータセットでのみ訓練されており、他の分野でLGMが達成した革命的な成功を再現することはできない。 この重要なギャップを解消するために、13の異なる領域からの大きなグラフコーパス(5000グラフ以上)をトレーニングしたLarge Graph Generative Model(LGGM)と呼ばれるグラフ生成モデルを提案する。 我々は,事前学習したLGGMが既存のグラフ生成モデルよりもゼロショット生成能力に優れていることを実証的に実証した。 さらに、トレーニング済みのLGGMは、ターゲットドメインからのグラフで簡単に微調整でき、スクラッチから直接トレーニングされたものよりもパフォーマンスが向上し、実世界のカスタマイズのための確かな出発点として機能する。 安定拡散に触発されて、我々はさらにLGGMに、ネットワーク名やドメインの記述("Power-1138-bus graph represent a network of bus in a power distribution system")やネットワーク統計("the graph have a low average degree, suitable for social media interaction")など、与えられたテキストプロンプト(Text-to-Graph)のグラフを生成する能力を持たせた。 このText-to-Graph機能は、基礎となる言語モデルにおける広範な世界の知識を統合し、ユーザが生成したグラフのきめ細かい制御を提供する。 コード、モデルチェックポイント、データセットはhttps://lggm-lg.github.io/で公開しています。

関連論文リスト

• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• GraphStorm: all-in-one graph machine learning framework for industry applications [75.23076561638348]
  GraphStormはスケーラブルなグラフ構築、グラフモデルのトレーニング、推論のためのエンドツーエンドソリューションである。 GraphStormのすべてのコンポーネントは数十億のノードを持つグラフ上で動作でき、コードを変更することなく、モデルのトレーニングと推論を異なるハードウェアにスケールすることができる。 GraphStormは、2023年5月にリリースされて以来、数十億以上の業界アプリケーションで使われ、デプロイされてきた。
  論文  参考訳（メタデータ） (2024-06-10T04:56:16Z)
• OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
  グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。 主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。 この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-02T08:05:03Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
  本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。 我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
  論文  参考訳（メタデータ） (2022-07-10T06:42:02Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。