論文の概要: Preventing Posterior Collapse with Levenshtein Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2004.14758v1
- Date: Thu, 30 Apr 2020 13:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 02:45:36.999830
- Title: Preventing Posterior Collapse with Levenshtein Variational Autoencoder
- Title（参考訳）: Levenshtein変分オートエンコーダによる後部崩壊の予防
- Authors: Serhii Havrylov, Ivan Titov
- Abstract要約: 我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
- 参考スコア（独自算出の注目度）: 61.30283661804425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational autoencoders (VAEs) are a standard framework for inducing latent
variable models that have been shown effective in learning text representations
as well as in text generation. The key challenge with using VAEs is the {\it
posterior collapse} problem: learning tends to converge to trivial solutions
where the generators ignore latent variables. In our Levenstein VAE, we propose
to replace the evidence lower bound (ELBO) with a new objective which is simple
to optimize and prevents posterior collapse. Intuitively, it corresponds to
generating a sequence from the autoencoder and encouraging the model to predict
an optimal continuation according to the Levenshtein distance (LD) with the
reference sentence at each time step in the generated sequence. We motivate the
method from the probabilistic perspective by showing that it is closely related
to optimizing a bound on the intractable Kullback-Leibler divergence of an
LD-based kernel density estimator from the model distribution. With this
objective, any generator disregarding latent variables will incur large
penalties and hence posterior collapse does not happen. We relate our approach
to policy distillation \cite{RossGB11} and dynamic oracles \cite{GoldbergN12}.
By considering Yelp and SNLI benchmarks, we show that Levenstein VAE produces
more informative latent representations than alternative approaches to
preventing posterior collapse.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)は、テキスト表現の学習やテキスト生成に有効な潜在変数モデルを誘導するための標準フレームワークである。
学習は、ジェネレータが潜在変数を無視する自明な解に収束する傾向がある。
我々のレーヴェンシュタインVAEにおいて、我々はエビデンスローバウンド(ELBO)を最適化し、後部崩壊を防止できる新しい目的に置き換えることを提案する。
直感的には、オートエンコーダからシーケンスを生成し、生成されたシーケンスの各時点における参照文で、レヴェンシュテイン距離(LD)に応じて最適な継続を予測するようモデルに促す。
モデル分布からld系カーネル密度推定器の難解なkullback-leibler境界の最適化に密接な関係があることを示し,確率論的観点からこの手法を動機付ける。
この目的により、潜在変数を無視したジェネレータは大きなペナルティを発生させるため、後方崩壊は起こらない。
当社のアプローチは,政策蒸留法である \cite{rossgb11} と dynamic oracles \cite{goldbergn12} に関連付けられている。
Yelp と SNLI のベンチマークから,Levenstein VAE が後方崩壊防止のための代替手法よりも有意義な潜伏表現を生成することを示す。
関連論文リスト
- How to train your VAE [0.0]
変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。
本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。
提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
論文 参考訳（メタデータ） (2023-09-22T19:52:28Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳（メタデータ） (2023-06-08T17:59:58Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。
実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。
本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2022-11-01T08:17:10Z) - A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。
本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T17:13:11Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Generative Text Modeling through Short Run Inference [47.73892773331617]
本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。
短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
論文 参考訳（メタデータ） (2021-05-27T09:14:35Z) - Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。
鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
論文 参考訳（メタデータ） (2020-07-20T18:18:39Z) - A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。
VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
論文 参考訳（メタデータ） (2020-04-27T05:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。