論文の概要: On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond

• arxiv url: http://arxiv.org/abs/2004.09189v1
• Date: Mon, 20 Apr 2020 10:34:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 17:26:09.785053
• Title: On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
• Title（参考訳）: 変分テキストモデリングにおけるエンコーダ・デコーダ不適合性について
• Authors: Chen Wu, Prince Zizhuang Wang, William Yang Wang
• Abstract要約: 変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
• 参考スコア（独自算出の注目度）: 82.18770740564642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) combine latent variables with amortized variational inference, whose optimization usually converges into a trivial local optimum termed posterior collapse, especially in text modeling. By tracking the optimization dynamics, we observe the encoder-decoder incompatibility that leads to poor parameterizations of the data manifold. We argue that the trivial local optimum may be avoided by improving the encoder and decoder parameterizations since the posterior network is part of a transition map between them. To this end, we propose Coupled-VAE, which couples a VAE model with a deterministic autoencoder with the same structure and improves the encoder and decoder parameterizations via encoder weight sharing and decoder signal matching. We apply the proposed Coupled-VAE approach to various VAE models with different regularization, posterior family, decoder structure, and optimization strategy. Experiments on benchmark datasets (i.e., PTB, Yelp, and Yahoo) show consistently improved results in terms of probability estimation and richness of the latent space. We also generalize our method to conditional language modeling and propose Coupled-CVAE, which largely improves the diversity of dialogue generation on the Switchboard dataset.
• Abstract（参考訳）: 変分オートエンコーダ(vaes)は、潜在変数と不定形変分推論を結合し、その最適化は通常、自明な局所最適項の後方崩壊(特にテキストモデリングにおいて)に収束する。 最適化のダイナミクスを追跡することにより,データ多様体のパラメータ化の低下につながるエンコーダ・デコーダの不整合性を観測する。 後続のネットワークはそれらの間の遷移マップの一部であるため、エンコーダとデコーダのパラメータ化を改善することで、自明な局所最適化を避けることができる。 そこで本研究では,VAEモデルと決定論的オートエンコーダを同一構造で結合し,エンコーダの重み付けとデコーダ信号マッチングにより,エンコーダとデコーダのパラメータ化を改善したCoupled-VAEを提案する。 提案手法を,正規化,後続系,デコーダ構造,最適化戦略の異なる様々なVAEモデルに適用する。 ベンチマークデータセット(TB、Yelp、Yahoo)の実験は、潜在空間の確率推定とリッチネスの観点から一貫して改善された結果を示している。 また,本手法を条件付き言語モデルに一般化し,Switchboardデータセット上での対話生成の多様性を大幅に改善する結合CVAEを提案する。

関連論文リスト

• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Multi-speaker Emotion Conversion via Latent Variable Regularization and a Chained Encoder-Decoder-Predictor Network [18.275646344620387]
  本稿では,連鎖型エンコーダ・デコーダ・予測ニューラルネットワークアーキテクチャに基づく音声の感情変換手法を提案する。 提案手法は,感情変換の正しさと合成音声の質の両方において,既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-25T13:59:22Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。