論文の概要: Learning Equivariant Energy Based Models with Equivariant Stein
Variational Gradient Descent
- arxiv url: http://arxiv.org/abs/2106.07832v1
- Date: Tue, 15 Jun 2021 01:35:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 05:39:08.348760
- Title: Learning Equivariant Energy Based Models with Equivariant Stein
Variational Gradient Descent
- Title(参考訳): 等価なスタイン変分勾配勾配をもつ学習同変エネルギーに基づくモデル
- Authors: Priyank Jaini, Lars Holdijk and Max Welling
- Abstract要約: 本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。
まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。
我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
- 参考スコア(独自算出の注目度): 80.73580820014242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We focus on the problem of efficient sampling and learning of probability
densities by incorporating symmetries in probabilistic models. We first
introduce Equivariant Stein Variational Gradient Descent algorithm -- an
equivariant sampling method based on Stein's identity for sampling from
densities with symmetries. Equivariant SVGD explicitly incorporates symmetry
information in a density through equivariant kernels which makes the resultant
sampler efficient both in terms of sample complexity and the quality of
generated samples. Subsequently, we define equivariant energy based models to
model invariant densities that are learned using contrastive divergence. By
utilizing our equivariant SVGD for training equivariant EBMs, we propose new
ways of improving and scaling up training of energy based models. We apply
these equivariant energy models for modelling joint densities in regression and
classification tasks for image datasets, many-body particle systems and
molecular structure generation.
- Abstract(参考訳): 確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。
まず,同変 stein 変分勾配降下アルゴリズム -- 対称性を持つ密度からサンプリングする stein の恒等性に基づく同変なサンプリング法について紹介する。
同変SVGDは、サンプルの複雑さと生成されたサンプルの品質の両面において、結果のサンプルを効率よくする等変カーネルを通じて、密度の対称性情報を明示的に組み込む。
その後、等価エネルギーに基づくモデルを定義し、対比的発散を用いて学習される不変密度をモデル化する。
同変SVGDを同変EMMのトレーニングに利用することにより、エネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
画像データセット,多体粒子系,分子構造生成の回帰および分類タスクにおける結合密度のモデル化に,これら同変エネルギーモデルを適用する。
関連論文リスト
- Symmetry Breaking and Equivariant Neural Networks [17.51364577113718]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳(メタデータ) (2023-12-14T15:06:48Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳(メタデータ) (2023-07-11T16:51:38Z) - Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。
このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。
実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
論文 参考訳(メタデータ) (2022-04-24T22:31:52Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Equivariant Diffusion for Molecule Generation in 3D [74.289191525633]
この研究は、ユークリッド変換に同値な3次元の分子計算生成のための拡散モデルを導入する。
提案手法は, 従来の3次元分子生成法に比べて, 生成した試料の品質と訓練時の効率を著しく向上させる。
論文 参考訳(メタデータ) (2022-03-31T12:52:25Z) - Equivariant Deep Dynamical Model for Motion Prediction [0.0]
深層生成モデリングは、データの最も単純化され圧縮された基礎的な記述を見つけるための動的モデリングの強力なアプローチである。
ほとんどの学習タスクは固有の対称性を持ち、すなわち入力変換は出力をそのままにするか、出力が同様の変換を行う。
本稿では, 入力空間の構造的表現を, 対称性の変換とともに変化するという意味で学習する動き予測のためのSO(3)同変深部力学モデル(EqDDM)を提案する。
論文 参考訳(メタデータ) (2021-11-02T21:01:43Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳(メタデータ) (2021-09-03T09:25:57Z) - Equivariant Learning of Stochastic Fields: Gaussian Processes and
Steerable Conditional Neural Processes [44.51932024971217]
我々は,物理や工学で発生するような,サンプルがフィールドであるプロセスについて,学習分野の問題を考察する。
本稿では,ニューラル・プロセス・ファミリーの完全同変であるステアブル・コンディショナル・ニューラル・プロセス(SteerCNPs)を紹介する。
ガウス過程ベクトル場、画像、実世界の気象データを用いて実験したところ、SteerCNPsは過去のモデルの性能を大幅に改善することがわかった。
論文 参考訳(メタデータ) (2020-11-25T18:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。