論文の概要: Sparse Training of Discrete Diffusion Models for Graph Generation

• arxiv url: http://arxiv.org/abs/2311.02142v1
• Date: Fri, 3 Nov 2023 16:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 19:08:41.185238
• Title: Sparse Training of Discrete Diffusion Models for Graph Generation
• Title（参考訳）: グラフ生成のための離散拡散モデルのスパーストレーニング
• Authors: Yiming Qin, Clement Vignac, Pascal Frossard
• Abstract要約: グラフの生成モデルは、各ノードペアの相互作用を予測する必要があるため、スケーラビリティ上の問題に遭遇することが多い。 本稿では,SparseDiffについて紹介する。SparseDiffは,グラフ生成のためのデノナイズ拡散モデルである。 実験結果から, SparseDiffは, 小グラフと大グラフの両方において, 生成性能の同時一致を示す。
• 参考スコア（独自算出の注目度）: 50.691834214298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models for graphs often encounter scalability challenges due to the inherent need to predict interactions for every node pair. Despite the sparsity often exhibited by real-world graphs, the unpredictable sparsity patterns of their adjacency matrices, stemming from their unordered nature, leads to quadratic computational complexity. In this work, we introduce SparseDiff, a denoising diffusion model for graph generation that is able to exploit sparsity during its training phase. At the core of SparseDiff is a message-passing neural network tailored to predict only a subset of edges during each forward pass. When combined with a sparsity-preserving noise model, this model can efficiently work with edge lists representations of graphs, paving the way for scalability to much larger structures. During the sampling phase, SparseDiff iteratively populates the adjacency matrix from its prior state, ensuring prediction of the full graph while controlling memory utilization. Experimental results show that SparseDiff simultaneously matches state-of-the-art in generation performance on both small and large graphs, highlighting the versatility of our method.
• Abstract（参考訳）: グラフの生成モデルは、ノードペアごとに相互作用を予測する必要があるため、しばしばスケーラビリティの課題に直面する。 実世界のグラフによってしばしば表されるスパース性にもかかわらず、それらの隣接行列の予測不能なスパース性パターンは、それらの無秩序な性質に由来するが、二次計算複雑性をもたらす。 本稿では,SparseDiffについて紹介する。SparseDiffは,学習段階における空間性を利用したグラフ生成の認知拡散モデルである。 SparseDiffのコアにあるメッセージパッシングニューラルネットワークは、各フォワードパス中にエッジのサブセットのみを予測するように設計されている。 空間保存ノイズモデルと組み合わせると、このモデルはグラフのエッジリスト表現を効率的に扱えるようになり、より大きな構造に拡張性を持たせることができる。 サンプリングフェーズの間、スパースディフは隣接行列を前の状態から反復的に投入し、メモリ使用量制御しながら全グラフの予測を保証する。 実験結果から, SparseDiffは, 小グラフと大グラフの両方において, 生成性能の同時一致を示し, 本手法の汎用性を強調した。

関連論文リスト

• Input Snapshots Fusion for Scalable Discrete Dynamic Graph Nerual Networks [27.616083395612595]
  入力 bf Snapshots bf Fusion ベースの動的 bf Graph Neural Network (SFDyG) を導入する。 入力ウィンドウ内でスナップショットのパーティショニングを取り除くことで、マルチグラフ(2つのノード間の1つ以上のエッジ)を得る。 スケーラブルな3段階のミニバッチトレーニング手法を提案し、フルバッチトレーニング手法と等価性を実証する。
  論文  参考訳（メタデータ） (2024-05-11T10:05:55Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• NVDiff: Graph Generation through the Diffusion of Node Vectors [20.424372965054832]
  我々は,VGAE構造を取り入れたNVDiffを提案し,サンプルノードベクトルに先立ってフレキシブルなスコアベース生成モデル(SGM)を用いる。 NVDiffフレームワーク上に構築され,グラフの局所的コンテキストとグローバル的コンテキストの両方をキャプチャ可能なアテンションベースのスコアネットワークを導入する。
  論文  参考訳（メタデータ） (2022-11-19T20:43:39Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)
• Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
  スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。 提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。 また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:38:04Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。