論文の概要: Sparse Training of Discrete Diffusion Models for Graph Generation

• arxiv url: http://arxiv.org/abs/2311.02142v2
• Date: Wed, 22 May 2024 16:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 20:23:38.032617
• Title: Sparse Training of Discrete Diffusion Models for Graph Generation
• Title（参考訳）: グラフ生成のための離散拡散モデルのスパーストレーニング
• Authors: Yiming Qin, Clement Vignac, Pascal Frossard,
• Abstract要約: SparseDiffは、ほとんど全ての大きなグラフがスパースであるという観察に基づく、新しい拡散モデルである。 エッジのサブセットを選択することで、SparseDiffは、ノイズ発生過程とノイズ発生ネットワーク内のスパースグラフ表現を効果的に活用する。 本モデルでは,小規模・大規模両方のデータセットにおいて,複数のメトリクスにわたる最先端性能を示す。
• 参考スコア（独自算出の注目度）: 45.103518022696996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative graph models struggle to scale due to the need to predict the existence or type of edges between all node pairs. To address the resulting quadratic complexity, existing scalable models often impose restrictive assumptions such as a cluster structure within graphs, thus limiting their applicability. To address this, we introduce SparseDiff, a novel diffusion model based on the observation that almost all large graphs are sparse. By selecting a subset of edges, SparseDiff effectively leverages sparse graph representations both during the noising process and within the denoising network, which ensures that space complexity scales linearly with the number of chosen edges. During inference, SparseDiff progressively fills the adjacency matrix with the selected subsets of edges, mirroring the training process. Our model demonstrates state-of-the-art performance across multiple metrics on both small and large datasets, confirming its effectiveness and robustness across varying graph sizes. It also ensures faster convergence, particularly on larger graphs, achieving a fourfold speedup on the large Ego dataset compared to dense models, thereby paving the way for broader applications.
• Abstract（参考訳）: 生成グラフモデルは、すべてのノードペア間のエッジの存在やタイプを予測する必要があるため、スケールするのに苦労する。 結果として生じる二次的複雑性に対処するため、既存のスケーラブルモデルはグラフ内のクラスタ構造のような制限的な仮定を課し、適用性を制限する。 これを解決するために,ほぼすべての大きなグラフがスパースであることを示す観察に基づく新しい拡散モデルであるSparseDiffを紹介する。 エッジのサブセットを選択することで、SparseDiffは、ノイズ発生過程とデノナイジングネットワークの両方においてスパースグラフ表現を効果的に活用し、空間複雑性が選択されたエッジの数と線形にスケールすることを保証する。 推論中、SparseDiffは徐々にエッジの選択したサブセットで隣接行列を埋め、トレーニングプロセスを反映する。 提案モデルでは,小規模・大規模両方のデータセットにおいて,複数の測定値にまたがる最先端性能を実証し,その有効性と,さまざまなグラフサイズでの堅牢性を確認した。 また、特に大きなグラフにおいて、より高速な収束を保証し、高密度のモデルに比べて大きなEgoデータセットで4倍のスピードアップを実現し、より広範なアプリケーションへの道を開く。

関連論文リスト

• Input Snapshots Fusion for Scalable Discrete Dynamic Graph Nerual Networks [27.616083395612595]
  入力 bf Snapshots bf Fusion ベースの動的 bf Graph Neural Network (SFDyG) を導入する。 入力ウィンドウ内でスナップショットのパーティショニングを取り除くことで、マルチグラフ(2つのノード間の1つ以上のエッジ)を得る。 スケーラブルな3段階のミニバッチトレーニング手法を提案し、フルバッチトレーニング手法と等価性を実証する。
  論文  参考訳（メタデータ） (2024-05-11T10:05:55Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• NVDiff: Graph Generation through the Diffusion of Node Vectors [20.424372965054832]
  我々は,VGAE構造を取り入れたNVDiffを提案し,サンプルノードベクトルに先立ってフレキシブルなスコアベース生成モデル(SGM)を用いる。 NVDiffフレームワーク上に構築され,グラフの局所的コンテキストとグローバル的コンテキストの両方をキャプチャ可能なアテンションベースのスコアネットワークを導入する。
  論文  参考訳（メタデータ） (2022-11-19T20:43:39Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)
• Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
  スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。 提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。 また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:38:04Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。