論文の概要: ControlVAE: Tuning, Analytical Properties, and Performance Analysis
- arxiv url: http://arxiv.org/abs/2011.01754v1
- Date: Sat, 31 Oct 2020 12:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 04:19:39.696325
- Title: ControlVAE: Tuning, Analytical Properties, and Performance Analysis
- Title（参考訳）: ControlVAE: チューニング、分析特性、パフォーマンス分析
- Authors: Huajie Shao, Zhisheng Xiao, Shuochao Yao, Aston Zhang, Shengzhong Liu
and Tarek Abdelzaher
- Abstract要約: ControlVAEは、新しい変分自動エンコーダフレームワークである。
VAEモデルのKL分割を所定の値に安定化する。
復元品質とKL分割の良好なトレードオフを達成することができる。
- 参考スコア（独自算出の注目度）: 14.272917020105147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper reviews the novel concept of controllable variational autoencoder
(ControlVAE), discusses its parameter tuning to meet application needs, derives
its key analytic properties, and offers useful extensions and applications.
ControlVAE is a new variational autoencoder (VAE) framework that combines the
automatic control theory with the basic VAE to stabilize the KL-divergence of
VAE models to a specified value. It leverages a non-linear PI controller, a
variant of the proportional-integral-derivative (PID) control, to dynamically
tune the weight of the KL-divergence term in the evidence lower bound (ELBO)
using the output KL-divergence as feedback. This allows us to precisely control
the KL-divergence to a desired value (set point), which is effective in
avoiding posterior collapse and learning disentangled representations. In order
to improve the ELBO over the regular VAE, we provide simplified theoretical
analysis to inform setting the set point of KL-divergence for ControlVAE. We
observe that compared to other methods that seek to balance the two terms in
VAE's objective, ControlVAE leads to better learning dynamics. In particular,
it can achieve a good trade-off between reconstruction quality and
KL-divergence. We evaluate the proposed method on three tasks: image
generation, language modeling and disentangled representation learning. The
results show that ControlVAE can achieve much better reconstruction quality
than the other methods for comparable disentanglement. On the language modeling
task, ControlVAE can avoid posterior collapse (KL vanishing) and improve the
diversity of generated text. Moreover, our method can change the optimization
trajectory, improving the ELBO and the reconstruction quality for image
generation.
- Abstract（参考訳）: 本稿では,制御可能な変分オートエンコーダ(controlvae)の新たな概念をレビューし,アプリケーションのニーズを満たすためのパラメータチューニング,主要な分析特性の導出,有用な拡張とアプリケーションを提供する。
ControlVAEは、自動制御理論と基本的なVAEを組み合わせた新しい変分オートエンコーダ(VAE)フレームワークで、VAEモデルのKL分割を所定の値に安定化する。
これは、比例積分微分(PID)制御の変種である非線形PIコントローラを利用して、出力KL偏差をフィードバックとして、エビデンスローバウンド(ELBO)におけるKL偏差項の重みを動的に調整する。
これにより、KL分割を所望の値(集合点)に正確に制御することができ、これは後続の崩壊を回避し、非絡み合い表現を学習するのに有効である。
通常のVAEよりもELBOを改善するために、制御VAEのためのKL分割の設定点を設定するための簡易な理論解析を提供する。
VAEの目的の2つの用語のバランスをとる他の方法と比較して、コントロールVAEはより優れた学習ダイナミクスをもたらす。
特に、再建品質とKL分割の良好なトレードオフを達成することができる。
提案手法は,画像生成,言語モデリング,不等角表現学習の3つのタスクで評価する。
その結果,ControlVAEは,他の手法よりもはるかに優れた再現性が得られることがわかった。
言語モデリングタスクでは、制御VAEは後続の崩壊(KLの消滅)を避け、生成されたテキストの多様性を改善することができる。
さらに,提案手法は最適化軌道を変化させ,ELBOと画像生成の再現性を向上させる。
関連論文リスト
- How to train your VAE [0.0]
変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。
本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。
提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
論文 参考訳（メタデータ） (2023-09-22T19:52:28Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。
本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。
我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
論文 参考訳（メタデータ） (2022-07-22T14:54:13Z) - Adaptive Model Predictive Control by Learning Classifiers [26.052368583196426]
制御パラメータとモデルパラメータを自動的に推定する適応型MPC変種を提案する。
我々は,BOを密度比推定として定式化できることを示す最近の結果を活用する。
その後、これはモデル予測経路積分制御フレームワークに統合され、様々な困難なロボティクスタスクのための堅牢なコントローラを生成する。
論文 参考訳（メタデータ） (2022-03-13T23:22:12Z) - Is Disentanglement enough? On Latent Representations for Controllable
Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。
VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文 参考訳（メタデータ） (2021-08-01T18:37:43Z) - DiffLoop: Tuning PID controllers by differentiating through the feedback
loop [8.477619837043214]
本稿では,PIDチューニングとアンチ・ウィンドアップ対策について検討する。
特に、コスト関数を用いて、制御性能を向上させるために勾配を生成する。
論文 参考訳（メタデータ） (2021-06-19T15:26:46Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳（メタデータ） (2020-11-14T01:27:32Z) - DynamicVAE: Decoupling Reconstruction Error and Disentangled
Representation Learning [15.317044259237043]
本稿では, 重みを$beta$-VAEで表すと, 潜伏因子を効果的に分解するために1ドルより大きくなるという一般的な仮定に挑戦する。
我々は,$beta$-VAEが$beta 1$であるだけでなく,動的制御による復元精度を大幅に向上させることができることを示した。
論文 参考訳（メタデータ） (2020-09-15T00:01:11Z) - ControlVAE: Controllable Variational Autoencoder [16.83870832766681]
変分オートエンコーダ(VAE)は、ダイアログ生成、画像生成、非絡み合い表現学習など、様々な用途で広く使われている。
ControlVAEは自動制御理論にインスパイアされたコントローラと基本的なVAEを組み合わせることで、生成モデルの性能を向上させる。
論文 参考訳（メタデータ） (2020-04-13T15:04:56Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳（メタデータ） (2020-04-02T20:49:15Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。