論文の概要: SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation

• arxiv url: http://arxiv.org/abs/2307.01646v4
• Date: Wed, 19 Jun 2024 04:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 08:50:40.536338
• Title: SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation
• Title（参考訳）: SwinGNN:グラフ生成のための拡散モデルにおける置換不変性の再考
• Authors: Qi Yan, Zhengyang Liang, Yang Song, Renjie Liao, Lele Wang,
• Abstract要約: 置換同変ネットワークに基づく拡散モデルは、グラフデータの置換不変分布を学習することができる。 我々は、効率的なエッジツーエッジ2-WLメッセージパッシングネットワークを利用する、$textitSwinGNN$と呼ばれる不変な拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 15.977241867213516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models based on permutation-equivariant networks can learn permutation-invariant distributions for graph data. However, in comparison to their non-invariant counterparts, we have found that these invariant models encounter greater learning challenges since 1) their effective target distributions exhibit more modes; 2) their optimal one-step denoising scores are the score functions of Gaussian mixtures with more components. Motivated by this analysis, we propose a non-invariant diffusion model, called $\textit{SwinGNN}$, which employs an efficient edge-to-edge 2-WL message passing network and utilizes shifted window based self-attention inspired by SwinTransformers. Further, through systematic ablations, we identify several critical training and sampling techniques that significantly improve the sample quality of graph generation. At last, we introduce a simple post-processing trick, $\textit{i.e.}$, randomly permuting the generated graphs, which provably converts any graph generative model to a permutation-invariant one. Extensive experiments on synthetic and real-world protein and molecule datasets show that our SwinGNN achieves state-of-the-art performances. Our code is released at https://github.com/qiyan98/SwinGNN.
• Abstract（参考訳）: 置換同変ネットワークに基づく拡散モデルは、グラフデータの置換不変分布を学習することができる。 しかし、非不変モデルと比較すると、これらの不変モデルは、それ以来より大きな学習課題に直面していることがわかった。 1) 効果的な目標分布は、より多くのモードを示す。 2) 最適1段階の復調スコアはガウス混合とより多くの成分のスコア関数である。 そこで本研究では,効率的なエッジ・ツー・エッジ2-WLメッセージパッシングネットワークを採用し,SwinTransformersにインスパイアされたウィンドウベースの自己アテンションを利用した非不変拡散モデルである$\textit{SwinGNN}$を提案する。 さらに、系統的な改善を通じて、グラフ生成のサンプル品質を著しく向上させるいくつかのクリティカルトレーニングおよびサンプリング手法を同定する。 最後に、単純な後処理のトリックである$\textit{i.e.}$を導入し、生成したグラフをランダムに置換し、任意のグラフ生成モデルを置換不変のグラフに変換する。 合成および実世界のタンパク質および分子データセットに関する大規模な実験は、我々のSwinGNNが最先端のパフォーマンスを達成することを示す。 私たちのコードはhttps://github.com/qiyan98/SwinGNN.comで公開されています。

関連論文リスト

• Pard: Permutation-Invariant Autoregressive Diffusion for Graph Generation [36.896680500652536]
  本稿では,拡散モデルと自己回帰手法を統合した置換不変な自己回帰拡散モデルを提案する。 Pardは分子と非分子のデータセットで最先端のパフォーマンスを達成し、1.9M分子を含むMOSESのような大規模なデータセットにスケールする。
  論文  参考訳（メタデータ） (2024-02-06T04:17:44Z)
• Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization [51.913685334368104]
  本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。 本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-18T07:26:56Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Permutation Equivariant Graph Framelets for Heterophilous Graph Learning [6.679929638714752]
  本研究では,Haar型グラフフレームレットの構築により,マルチスケール抽出を実現する手法を開発した。 ヘテロ親和性グラフの特定のデータセット上で,我々のモデルが最高の性能を達成できることが示される。
  論文  参考訳（メタデータ） (2023-06-07T09:05:56Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Going Deeper into Permutation-Sensitive Graph Neural Networks [6.685139672294716]
  置換群を経由した効率的な置換感応アグリゲーション機構を考案した。 我々は、我々のアプローチが2次元ワイスフェイラー・リーマン(英語版)(2-WL)グラフ同型テストよりも厳密に強力であることを証明した。
  論文  参考訳（メタデータ） (2022-05-28T08:22:10Z)
• Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
  集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。 Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
  論文  参考訳（メタデータ） (2021-10-05T14:51:19Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Permutation Invariant Graph Generation via Score-Based Generative Modeling [114.12935776726606]
  本稿では,最近のスコアベース生成モデルを用いて,グラフモデリングにおける置換不変手法を提案する。 特に、入力グラフにおけるデータ分布の勾配をモデル化するために、置換同変のマルチチャネルグラフニューラルネットワークを設計する。 グラフ生成では、我々の学習アプローチはベンチマークデータセット上の既存のモデルよりも良い、あるいは同等の結果を得る。
  論文  参考訳（メタデータ） (2020-03-02T03:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。