論文の概要: Langevin Autoencoders for Learning Deep Latent Variable Models

• arxiv url: http://arxiv.org/abs/2209.07036v1
• Date: Thu, 15 Sep 2022 04:26:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:10:40.354116
• Title: Langevin Autoencoders for Learning Deep Latent Variable Models
• Title（参考訳）: 深い潜在変数モデル学習のためのlangevinオートエンコーダ
• Authors: Shohei Taniguchi, Yusuke Iwasawa, Wataru Kumagai, Yutaka Matsuo
• Abstract要約: 我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。 ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
• 参考スコア（独自算出の注目度）: 27.60436426879683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markov chain Monte Carlo (MCMC), such as Langevin dynamics, is valid for approximating intractable distributions. However, its usage is limited in the context of deep latent variable models owing to costly datapoint-wise sampling iterations and slow convergence. This paper proposes the amortized Langevin dynamics (ALD), wherein datapoint-wise MCMC iterations are entirely replaced with updates of an encoder that maps observations into latent variables. This amortization enables efficient posterior sampling without datapoint-wise iterations. Despite its efficiency, we prove that ALD is valid as an MCMC algorithm, whose Markov chain has the target posterior as a stationary distribution under mild assumptions. Based on the ALD, we also present a new deep latent variable model named the Langevin autoencoder (LAE). Interestingly, the LAE can be implemented by slightly modifying the traditional autoencoder. Using multiple synthetic datasets, we first validate that ALD can properly obtain samples from target posteriors. We also evaluate the LAE on the image generation task, and show that our LAE can outperform existing methods based on variational inference, such as the variational autoencoder, and other MCMC-based methods in terms of the test likelihood.
• Abstract（参考訳）: ランゲヴィン力学のようなマルコフ連鎖モンテカルロ(MCMC)は、難解分布の近似に有効である。 しかしながら、データポイント毎のサンプリングイテレーションのコストと収束の遅いため、その使用は深い潜伏変数モデルの文脈で制限されている。 本稿では,データポイント毎のmcmcイテレーションを,観測結果を潜在変数にマッピングするエンコーダの更新に置き換える,amortized langevin dynamics (ald)を提案する。 このアモータイズにより、データポイントワイドイテレーションを使わずに効率的な後方サンプリングが可能となる。 その効率にもかかわらず、aldはmcmcアルゴリズムとして有効であることを証明し、そのマルコフ連鎖は穏やかな仮定の下での定常分布として後方にターゲットを持つ。 また、ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルを提案する。 興味深いことに、LAEは従来のオートエンコーダを少し変更することで実装できる。 複数の合成データセットを用いて、ALDがターゲット後部からのサンプルを適切に取得できることを検証する。 また,画像生成タスクにおけるlaeを評価した結果,変動オートエンコーダなどの変分推論や,他のmcmcベースの手法において,テスト可能性の観点から,laeが既存の手法よりも優れることを示した。

関連論文リスト

• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
  ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
  論文  参考訳（メタデータ） (2023-02-13T18:24:21Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Bayesian neural networks and dimensionality reduction [4.039245878626346]
  そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。 潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
  論文  参考訳（メタデータ） (2020-08-18T17:11:07Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。