論文の概要: Sparse Training of Discrete Diffusion Models for Graph Generation
- arxiv url: http://arxiv.org/abs/2311.02142v1
- Date: Fri, 3 Nov 2023 16:50:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 19:08:41.185238
- Title: Sparse Training of Discrete Diffusion Models for Graph Generation
- Title(参考訳): グラフ生成のための離散拡散モデルのスパーストレーニング
- Authors: Yiming Qin, Clement Vignac, Pascal Frossard
- Abstract要約: グラフの生成モデルは、各ノードペアの相互作用を予測する必要があるため、スケーラビリティ上の問題に遭遇することが多い。
本稿では,SparseDiffについて紹介する。SparseDiffは,グラフ生成のためのデノナイズ拡散モデルである。
実験結果から, SparseDiffは, 小グラフと大グラフの両方において, 生成性能の同時一致を示す。
- 参考スコア(独自算出の注目度): 50.691834214298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models for graphs often encounter scalability challenges due to
the inherent need to predict interactions for every node pair. Despite the
sparsity often exhibited by real-world graphs, the unpredictable sparsity
patterns of their adjacency matrices, stemming from their unordered nature,
leads to quadratic computational complexity. In this work, we introduce
SparseDiff, a denoising diffusion model for graph generation that is able to
exploit sparsity during its training phase. At the core of SparseDiff is a
message-passing neural network tailored to predict only a subset of edges
during each forward pass. When combined with a sparsity-preserving noise model,
this model can efficiently work with edge lists representations of graphs,
paving the way for scalability to much larger structures. During the sampling
phase, SparseDiff iteratively populates the adjacency matrix from its prior
state, ensuring prediction of the full graph while controlling memory
utilization. Experimental results show that SparseDiff simultaneously matches
state-of-the-art in generation performance on both small and large graphs,
highlighting the versatility of our method.
- Abstract(参考訳): グラフの生成モデルは、ノードペアごとに相互作用を予測する必要があるため、しばしばスケーラビリティの課題に直面する。
実世界のグラフによってしばしば表されるスパース性にもかかわらず、それらの隣接行列の予測不能なスパース性パターンは、それらの無秩序な性質に由来するが、二次計算複雑性をもたらす。
本稿では,SparseDiffについて紹介する。SparseDiffは,学習段階における空間性を利用したグラフ生成の認知拡散モデルである。
SparseDiffのコアにあるメッセージパッシングニューラルネットワークは、各フォワードパス中にエッジのサブセットのみを予測するように設計されている。
空間保存ノイズモデルと組み合わせると、このモデルはグラフのエッジリスト表現を効率的に扱えるようになり、より大きな構造に拡張性を持たせることができる。
サンプリングフェーズの間、スパースディフは隣接行列を前の状態から反復的に投入し、メモリ使用量制御しながら全グラフの予測を保証する。
実験結果から, SparseDiffは, 小グラフと大グラフの両方において, 生成性能の同時一致を示し, 本手法の汎用性を強調した。
関連論文リスト
- GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。
提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。
第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文 参考訳(メタデータ) (2022-12-01T11:49:07Z) - NVDiff: Graph Generation through the Diffusion of Node Vectors [20.424372965054832]
我々は,VGAE構造を取り入れたNVDiffを提案し,サンプルノードベクトルに先立ってフレキシブルなスコアベース生成モデル(SGM)を用いる。
NVDiffフレームワーク上に構築され,グラフの局所的コンテキストとグローバル的コンテキストの両方をキャプチャ可能なアテンションベースのスコアネットワークを導入する。
論文 参考訳(メタデータ) (2022-11-19T20:43:39Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - Regularization of Mixture Models for Robust Principal Graph Learning [0.0]
D$次元データポイントの分布から主グラフを学習するために,Mixture Modelsの正規化バージョンを提案する。
モデルのパラメータは期待最大化手順によって反復的に推定される。
論文 参考訳(メタデータ) (2021-06-16T18:00:02Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳(メタデータ) (2021-05-22T07:05:48Z) - Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。
提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。
また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2020-07-24T17:38:04Z) - Time-varying Graph Representation Learning via Higher-Order Skip-Gram
with Negative Sampling [0.456877715768796]
我々は,スキップグラム埋め込み手法が行列分解を暗黙的に行うという事実に基づいて構築する。
負のサンプリングを持つ高次スキップグラムは、ノードと時間の役割を乱すことができることを示す。
提案手法を時間分解型対面近接データを用いて実証的に評価し,学習した時間変化グラフ表現が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-06-25T12:04:48Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳(メタデータ) (2020-02-14T11:42:16Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳(メタデータ) (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。