論文の概要: ControlVAE: Controllable Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2004.05988v5
- Date: Sat, 20 Jun 2020 20:21:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 23:26:47.650972
- Title: ControlVAE: Controllable Variational Autoencoder
- Title(参考訳): ControlVAE: 可変変分オートエンコーダ
- Authors: Huajie Shao, Shuochao Yao, Dachun Sun, Aston Zhang, Shengzhong Liu,
Dongxin Liu, Jun Wang, Tarek Abdelzaher
- Abstract要約: 変分オートエンコーダ(VAE)は、ダイアログ生成、画像生成、非絡み合い表現学習など、様々な用途で広く使われている。
ControlVAEは自動制御理論にインスパイアされたコントローラと基本的なVAEを組み合わせることで、生成モデルの性能を向上させる。
- 参考スコア(独自算出の注目度): 16.83870832766681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Autoencoders (VAE) and their variants have been widely used in a
variety of applications, such as dialog generation, image generation and
disentangled representation learning. However, the existing VAE models have
some limitations in different applications. For example, a VAE easily suffers
from KL vanishing in language modeling and low reconstruction quality for
disentangling. To address these issues, we propose a novel controllable
variational autoencoder framework, ControlVAE, that combines a controller,
inspired by automatic control theory, with the basic VAE to improve the
performance of resulting generative models. Specifically, we design a new
non-linear PI controller, a variant of the proportional-integral-derivative
(PID) control, to automatically tune the hyperparameter (weight) added in the
VAE objective using the output KL-divergence as feedback during model training.
The framework is evaluated using three applications; namely, language modeling,
disentangled representation learning, and image generation. The results show
that ControlVAE can achieve better disentangling and reconstruction quality
than the existing methods. For language modelling, it not only averts the
KL-vanishing, but also improves the diversity of generated text. Finally, we
also demonstrate that ControlVAE improves the reconstruction quality of
generated images compared to the original VAE.
- Abstract(参考訳): 変分オートエンコーダ(VAE)とその変種は、ダイアログ生成、画像生成、非絡み合い表現学習など、様々な用途で広く使われている。
しかしながら、既存のVAEモデルは異なるアプリケーションにいくつかの制限がある。
例えば、vaeは、言語モデリングにおけるklの消失や、逆エンタングのための低コンストラクション品質に苦しむ。
そこで本研究では,自動制御理論にインスパイアされたコントローラと,生成モデルの性能向上のための基本vaeを組み合わせた,新しい制御可能な変分オートエンコーダフレームワークであるcontrolvaeを提案する。
具体的には、比例積分微分(PID)制御の変種である非線形PIコントローラを設計し、モデルトレーニング中に出力KL偏差をフィードバックとしてVAE目標に付加されたハイパーパラメータ(重み)を自動的に調整する。
このフレームワークは3つのアプリケーション、すなわち言語モデリング、不整合表現学習、画像生成を用いて評価される。
以上の結果から,コントロールVAEは既存の手法よりもディエンタングやリコンストラクションの質を向上できることがわかった。
言語モデリングでは、KLの消滅を回避できるだけでなく、生成されたテキストの多様性も向上する。
最後に,制御VAEが生成した画像の復元品質を,元のVAEと比較して向上させることを示す。
関連論文リスト
- LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent
Sentence Spaces [1.529963465178546]
本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。
実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-20T17:25:23Z) - VOLTA: Diverse and Controllable Question-Answer Pair Generation with
Variational Mutual Information Maximizing Autoencoder [52.74518846093654]
本稿では,変分オートエンコーダを用いたVOLTAモデルを提案する。
さらに,生成プロセス上で入出力独立性を実現するためにInfoGANスタイルの潜時符号を追加することを提案する。
論文 参考訳(メタデータ) (2023-07-03T08:45:42Z) - UniControl: A Unified Diffusion Model for Controllable Visual Generation
In the Wild [166.25327094261038]
制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。
UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。
9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
論文 参考訳(メタデータ) (2023-05-18T17:41:34Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-20T18:46:31Z) - Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。
我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。
実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
論文 参考訳(メタデータ) (2022-05-25T10:12:17Z) - Multimodal VAE Active Inference Controller [0.0]
本稿では,産業用アームのアクティブ推論トルク制御装置を提案する。
線形結合型マルチモーダル変分オートエンコーダを用いたマルチモーダル状態表現学習を含む。
結果は、表現力の増加による目標方向到達の追跡と制御の改善を示した。
論文 参考訳(メタデータ) (2021-03-07T18:00:27Z) - Transformer-based Conditional Variational Autoencoder for Controllable
Story Generation [39.577220559911055]
ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。
我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。
具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
論文 参考訳(メタデータ) (2021-01-04T08:31:11Z) - ControlVAE: Tuning, Analytical Properties, and Performance Analysis [14.272917020105147]
ControlVAEは、新しい変分自動エンコーダフレームワークである。
VAEモデルのKL分割を所定の値に安定化する。
復元品質とKL分割の良好なトレードオフを達成することができる。
論文 参考訳(メタデータ) (2020-10-31T12:32:39Z) - Incorporating Reinforced Adversarial Learning in Autoregressive Image
Generation [39.55651747758391]
本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。
RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。
提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
論文 参考訳(メタデータ) (2020-07-20T08:10:07Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z) - Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。
復号分布の不確かさを学習する校正復号器の影響について検討する。
本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
論文 参考訳(メタデータ) (2020-06-23T17:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。