論文の概要: Learning variational autoencoders via MCMC speed measures

• arxiv url: http://arxiv.org/abs/2308.13731v1
• Date: Sat, 26 Aug 2023 02:15:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 19:24:59.204735
• Title: Learning variational autoencoders via MCMC speed measures
• Title（参考訳）: mcmc速度測定による学習変動オートエンコーダ
• Authors: Marcel Hirt, Vasileios Kreouzis, Petros Dellaportas
• Abstract要約: 変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。 この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。 実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 7.688686113950604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) are popular likelihood-based generative models which can be efficiently trained by maximizing an Evidence Lower Bound (ELBO). There has been much progress in improving the expressiveness of the variational distribution to obtain tighter variational bounds and increased generative performance. Whilst previous work has leveraged Markov chain Monte Carlo (MCMC) methods for the construction of variational densities, gradient-based methods for adapting the proposal distributions for deep latent variable models have received less attention. This work suggests an entropy-based adaptation for a short-run Metropolis-adjusted Langevin (MALA) or Hamiltonian Monte Carlo (HMC) chain while optimising a tighter variational bound to the log-evidence. Experiments show that this approach yields higher held-out log-likelihoods as well as improved generative metrics. Our implicit variational density can adapt to complicated posterior geometries of latent hierarchical representations arising in hierarchical VAEs.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、エビデンス・ロウアー・バウンド(ELBO)を最大化することで効率よく訓練できる確率ベース生成モデルである。 より厳密な変動境界を得るための変動分布の表現性の向上と、生成性能の向上に多くの進展があった。 マルコフ連鎖モンテカルロ法(MCMC)法は変分密度の構成に利用されてきたが、潜伏変数モデルに対する提案分布を適応するための勾配法はあまり注目されていない。 この研究は、短周期のメトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) 連鎖に対するエントロピーに基づく適応を示唆し、ログエビデンスに束縛されたより厳密な変動を最適化する。 実験により、このアプローチは高い保持率のログライクな状態と、生成指標の改善をもたらすことが示された。 我々の暗黙的変分密度は階層的vaesに生じる潜在階層表現の複雑な後続幾何学に適応できる。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Entropy-based adaptive Hamiltonian Monte Carlo [19.358300726820943]
  ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。 跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。 我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-27T17:52:55Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• MCMC-Interactive Variational Inference [56.58416764959414]
  本稿では, MCMC-interactive variational inference (MIVI) を提案し, 後部を時間制約で推定する。 MIVIは変分推論とMCMCの相補的特性を利用して相互改善を促進する。 実験により、MIVIは後部を正確に近似するだけでなく、勾配MCMCとギブスサンプリング遷移の設計を容易にすることが示された。
  論文  参考訳（メタデータ） (2020-10-02T17:43:20Z)
• Quasi-symplectic Langevin Variational Autoencoder [7.443843354775884]
  変分オートエンコーダ(VAE)は、ニューラルネットワーク研究において非常に人気があり、よく研究されている生成モデルである。 低分散証拠低境界(ELBO)構築の難しさに対処することが求められている。
  論文  参考訳（メタデータ） (2020-09-02T12:13:27Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。