論文の概要: Quasi-symplectic Langevin Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2009.01675v4
- Date: Thu, 27 May 2021 09:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 18:17:13.263834
- Title: Quasi-symplectic Langevin Variational Autoencoder
- Title(参考訳): 準シンプレクティックなランゲヴィン変分オートエンコーダ
- Authors: Zihao Wang, Herv\'e Delingette
- Abstract要約: 変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。
低分散証拠低境界(ELBO)構築の難しさに対処することが求められている。
- 参考スコア(独自算出の注目度): 7.443843354775884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational autoencoder (VAE) is a very popular and well-investigated
generative model in neural learning research. To leverage VAE in practical
tasks dealing with a massive dataset of large dimensions, it is required to
deal with the difficulty of building low variance evidence lower bounds (ELBO).
Markov Chain Monte Carlo (MCMC) is an effective approach to tighten the ELBO
for approximating the posterior distribution and Hamiltonian Variational
Autoencoder (HVAE) is an effective MCMC inspired approach for constructing a
low-variance ELBO that is amenable to the reparameterization trick. The HVAE
adapted the Hamiltonian dynamic flow into variational inference that
significantly improves the performance of the posterior estimation. We propose
in this work a Langevin dynamic flow-based inference approach by incorporating
the gradients information in the inference process through the Langevin dynamic
which is a kind of MCMC based method similar to HVAE. Specifically, we employ a
quasi-symplectic integrator to cope with the prohibit problem of the Hessian
computing in naive Langevin flow. We show the theoretical and practical
effectiveness of the proposed framework with other gradient flow-based methods.
- Abstract(参考訳): 変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。
大規模データセットを扱う現実的なタスクにおいて,VAEを活用するためには,低分散証拠低境界(ELBO)の構築の困難さに対処する必要がある。
マルコフ・チェイン・モンテカルロ (MCMC) は後部分布を近似するためにELBOを強化するための効果的なアプローチであり、ハミルトン変分オートエンコーダ (HVAE) は再パラメータ化法に適応する低分散ELBOを構築するための効果的なMCMCのアプローチである。
HVAEはハミルトンの動的流れを変分推論に適応させ、後部推定の性能を大幅に向上させた。
本稿では,HVAEに類似したMCMC法の一種であるLangevin Dynamicを通じて,推論プロセスの勾配情報を組み込むことにより,Langevin動的フローベース推論手法を提案する。
具体的には,準シンプレクティック積分器を用いて,単純ランジュバン流れにおけるヘッセン計算の禁止問題に対処する。
提案手法の理論的および実用的効果を他の勾配流法で示す。
関連論文リスト
- KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。
我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。
我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
論文 参考訳(メタデータ) (2024-07-18T05:48:24Z) - Koopman-Based Surrogate Modelling of Turbulent Rayleigh-Bénard Convection [4.248022697109535]
我々は,LRAN(Linear Recurrent Autoencoder Network)と呼ばれるクープマンにインスパイアされたアーキテクチャを用いて,対流中の低次ダイナミクスを学習する。
従来の流体力学法であるKernel Dynamic Mode Decomposition (KDMD)を用いてLRANを比較する。
我々は,最も乱流条件下では,KDMDよりもLRANの方が正確な予測値を得た。
論文 参考訳(メタデータ) (2024-05-10T12:15:02Z) - Linear Noise Approximation Assisted Bayesian Inference on Mechanistic Model of Partially Observed Stochastic Reaction Network [2.325005809983534]
本稿では、部分的に観察された酵素反応ネットワーク(SRN)に対する効率的なベイズ推論手法を開発する。
線形雑音近似(LNA)メタモデルを提案する。
マルコフ・チェイン・モンテカルロの収束を高速化するために、導出確率の勾配を利用して効率的な後方サンプリング手法を開発した。
論文 参考訳(メタデータ) (2024-05-05T01:54:21Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Learning variational autoencoders via MCMC speed measures [7.688686113950604]
変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。
この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。
実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
論文 参考訳(メタデータ) (2023-08-26T02:15:51Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Guaranteed Conservation of Momentum for Learning Particle-based Fluid
Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。
我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。
提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-10-12T09:12:59Z) - Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach [0.0]
教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
論文 参考訳(メタデータ) (2022-06-30T23:41:47Z) - Generalised Latent Assimilation in Heterogeneous Reduced Spaces with
Machine Learning Surrogate Models [10.410970649045943]
我々は,低次サロゲートモデルと新しいデータ同化手法を組み合わせたシステムを開発した。
一般化された潜在同化は、低次モデリングによって提供される効率とデータ同化の精度の両方の恩恵を受けることができる。
論文 参考訳(メタデータ) (2022-04-07T15:13:12Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。