論文の概要: Top-N: Equivariant set and graph generation without exchangeability

• arxiv url: http://arxiv.org/abs/2110.02096v1
• Date: Tue, 5 Oct 2021 14:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 17:52:31.158247
• Title: Top-N: Equivariant set and graph generation without exchangeability
• Title（参考訳）: Top-N: 交換性のない同変集合とグラフ生成
• Authors: Clement Vignac and Pascal Frossard
• Abstract要約: 集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。 Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
• 参考スコア（独自算出の注目度）: 61.24699600833916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider one-shot probabilistic decoders that map a vector-shaped prior to a distribution over sets or graphs. These functions can be integrated into variational autoencoders (VAE), generative adversarial networks (GAN) or normalizing flows, and have important applications in drug discovery. Set and graph generation is most commonly performed by generating points (and sometimes edge weights) i.i.d. from a normal distribution, and processing them along with the prior vector using Transformer layers or graph neural networks. This architecture is designed to generate exchangeable distributions (all permutations of a set are equally likely) but it is hard to train due to the stochasticity of i.i.d. generation. We propose a new definition of equivariance and show that exchangeability is in fact unnecessary in VAEs and GANs. We then introduce Top-n, a deterministic, non-exchangeable set creation mechanism which learns to select the most relevant points from a trainable reference set. Top-n can replace i.i.d. generation in any VAE or GAN -- it is easier to train and better captures complex dependencies in the data. Top-n outperforms i.i.d generation by 15% at SetMNIST reconstruction, generates sets that are 64% closer to the true distribution on a synthetic molecule-like dataset, and is able to generate more diverse molecules when trained on the classical QM9 dataset. With improved foundations in one-shot generation, our algorithm contributes to the design of more effective molecule generation methods.
• Abstract（参考訳）: 集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成的敵ネットワーク(GAN)または正規化フローに統合することができ、薬物発見に重要な応用がある。 集合とグラフの生成は、通常分布から点(時には辺重み)を生成し、トランスフォーマー層やグラフニューラルネットワークを用いて前ベクトルと共に処理することで最も一般的に行われる。 このアーキテクチャは交換可能な分布(集合のすべての置換は等しくあり得る)を生成するように設計されているが、i.d.生成の確率性のために訓練は困難である。 等価性の新たな定義を提案し、交換性は実際にはVAEやGANでは不要であることを示す。 次に,学習可能な参照集合から最も関連性の高い点を選択することを学ぶ,決定論的で交換不能な集合生成機構top-nを導入する。 top-nは任意のvaeまたはganのi.i.d.生成を置き換えることができる。 トップnは、SetMNIST再構成で15%の効率で生成し、合成分子のようなデータセットの真の分布に64%近い集合を生成し、古典的なQM9データセットで訓練するとより多様な分子を生成することができる。 ワンショット生成における基礎の改善により,より効果的な分子生成法の設計に寄与する。

関連論文リスト

• Computing Systemic Risk Measures with Graph Neural Networks [1.6874375111244329]
  本稿では,明確にモデル化された二元的負債の金融ネットワークに対するシステム的リスク対策について検討する。 本研究では,システム的リスクと最適ランダムアロケーションの近似の数値計算法について検討する。
  論文  参考訳（メタデータ） (2024-09-30T10:18:13Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation [15.977241867213516]
  置換同変ネットワークに基づく拡散モデルは、グラフデータの置換不変分布を学習することができる。 我々は、効率的なエッジツーエッジ2-WLメッセージパッシングネットワークを利用する、$textitSwinGNN$と呼ばれる不変な拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-04T10:58:42Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Beyond permutation equivariance in graph networks [1.713291434132985]
  我々は,n$-dimensions におけるユークリッド群に同値なグラフネットワークのための新しいアーキテクチャを提案する。 我々のモデルは、グラフネットワークを最も一般的な形で扱うように設計されており、特殊ケースとして特定の変種を含む。
  論文  参考訳（メタデータ） (2021-03-25T18:36:09Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Permutation Invariant Graph Generation via Score-Based Generative Modeling [114.12935776726606]
  本稿では,最近のスコアベース生成モデルを用いて,グラフモデリングにおける置換不変手法を提案する。 特に、入力グラフにおけるデータ分布の勾配をモデル化するために、置換同変のマルチチャネルグラフニューラルネットワークを設計する。 グラフ生成では、我々の学習アプローチはベンチマークデータセット上の既存のモデルよりも良い、あるいは同等の結果を得る。
  論文  参考訳（メタデータ） (2020-03-02T03:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。