論文の概要: Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
- arxiv url: http://arxiv.org/abs/2010.03467v1
- Date: Wed, 7 Oct 2020 15:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 22:02:09.136221
- Title: Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
- Title(参考訳): スタック化ワッサースタインオートエンコーダによる深層階層学習
- Authors: Benoit Gaujac and Ilya Feige and David Barber
- Abstract要約: 本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。
提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
- 参考スコア(独自算出の注目度): 22.54887526392739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Probabilistic models with hierarchical-latent-variable structures provide
state-of-the-art results amongst non-autoregressive, unsupervised density-based
models. However, the most common approach to training such models based on
Variational Autoencoders (VAEs) often fails to leverage deep-latent
hierarchies; successful approaches require complex inference and optimisation
schemes. Optimal Transport is an alternative, non-likelihood-based framework
for training generative models with appealing theoretical properties, in
principle allowing easier training convergence between distributions. In this
work we propose a novel approach to training models with deep-latent
hierarchies based on Optimal Transport, without the need for highly bespoke
models and inference networks. We show that our method enables the generative
model to fully leverage its deep-latent hierarchy, avoiding the well known
"latent variable collapse" issue of VAEs; therefore, providing qualitatively
better sample generations as well as more interpretable latent representation
than the original Wasserstein Autoencoder with Maximum Mean Discrepancy
divergence.
- Abstract(参考訳): 階層ラテント可変構造を持つ確率モデルは、非自己回帰的、教師なし密度ベースモデルのうち最先端の結果を提供する。
しかしながら、変分オートエンコーダ(VAE)に基づくそのようなモデルをトレーニングする最も一般的なアプローチは、しばしば深層階層の活用に失敗する。
最適輸送(Optimal Transport)は、理論的性質をアピールする生成モデルを訓練するための代替の非様相ベースのフレームワークである。
本研究では,高度に振る舞いのよいモデルや推論ネットワークを必要とせずに,最適輸送に基づくディープラーニング階層を用いたモデルトレーニング手法を提案する。
提案手法は, VAEの「潜時変動崩壊」問題を回避することによって, 生成モデルによる深部潜時階層の完全活用を可能にすることを示し, そこで, 最大平均離散差分法を用いたワッサーシュタインオートエンコーダよりも, 定性的に優れたサンプル生成とより解釈可能な潜時表現を提供する。
関連論文リスト
- Bayesian sparsification for deep neural networks with Bayesian model
reduction [0.6144680854063939]
我々は,モデルウェイトを刈り取るためのより効率的な代替手段として,ベイズモデルリダクション(BMR)の使用を提唱する。
BMRは、単純な(非階層的な)生成モデルの下での後方推定に基づいて、余剰モデル重みのポストホック除去を可能にする。
我々は、LeNetのような古典的なネットワークから、VisionやTransformers-Mixersのようなモダンなフレームワークまで、さまざまなディープラーニングアーキテクチャにおけるBMRの可能性について説明する。
論文 参考訳(メタデータ) (2023-09-21T14:10:47Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。
本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
論文 参考訳(メタデータ) (2021-10-08T13:51:34Z) - Deep Variational Models for Collaborative Filtering-based Recommender
Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。
提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。
提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文 参考訳(メタデータ) (2021-07-27T08:59:39Z) - COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。
我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。
従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
論文 参考訳(メタデータ) (2021-02-16T18:50:32Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - Self-Reflective Variational Autoencoder [21.054722609128525]
変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。
自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。
実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
論文 参考訳(メタデータ) (2020-07-10T05:05:26Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。
ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
論文 参考訳(メタデータ) (2020-01-20T02:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。