Fugu-MT 論文翻訳(概要): DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning

論文の概要: DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning

arxiv url: http://arxiv.org/abs/2009.06795v2
Date: Wed, 30 Sep 2020 22:11:07 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 05:30:46.204969
Title: DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning
Title（参考訳）: DynamicVAE:デカップリング再構成誤りとアンタングル表現学習
Authors: Huajie Shao, Haohong Lin, Qinmin Yang, Shuochao Yao, Han Zhao, Tarek Abdelzaher
Abstract要約: 本稿では, 重みを$beta$-VAEで表すと, 潜伏因子を効果的に分解するために1ドルより大きくなるという一般的な仮定に挑戦する。我々は,$beta$-VAEが$beta 1$であるだけでなく,動的制御による復元精度を大幅に向上させることができることを示した。
参考スコア（独自算出の注目度）: 15.317044259237043
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper challenges the common assumption that the weight $\beta$, in $\beta$-VAE, should be larger than $1$ in order to effectively disentangle latent factors. We demonstrate that $\beta$-VAE, with $\beta < 1$, can not only attain good disentanglement but also significantly improve reconstruction accuracy via dynamic control. The paper removes the inherent trade-off between reconstruction accuracy and disentanglement for $\beta$-VAE. Existing methods, such as $\beta$-VAE and FactorVAE, assign a large weight to the KL-divergence term in the objective function, leading to high reconstruction errors for the sake of better disentanglement. To mitigate this problem, a ControlVAE has recently been developed that dynamically tunes the KL-divergence weight in an attempt to control the trade-off to more a favorable point. However, ControlVAE fails to eliminate the conflict between the need for a large $\beta$ (for disentanglement) and the need for a small $\beta$. Instead, we propose DynamicVAE that maintains a different $\beta$ at different stages of training, thereby decoupling disentanglement and reconstruction accuracy. In order to evolve the weight, $\beta$, along a trajectory that enables such decoupling, DynamicVAE leverages a modified incremental PI (proportional-integral) controller, and employs a moving average as well as a hybrid annealing method to evolve the value of KL-divergence smoothly in a tightly controlled fashion. We theoretically prove the stability of the proposed approach. Evaluation results on three benchmark datasets demonstrate that DynamicVAE significantly improves the reconstruction accuracy while achieving disentanglement comparable to the best of existing methods. The results verify that our method can separate disentangled representation learning and reconstruction, removing the inherent tension between the two.
Abstract（参考訳）: 本論文は, 潜在因子を効果的に分離するために, 重量$\beta$, $\beta$-vae が$$$より大きいべきであるという共通の仮定に挑戦する。我々は,$\beta < 1$ を持つ$\beta$-vae が良好な絡み合いを達成するだけでなく,動的制御による再構成精度を大幅に向上できることを実証する。本稿は,$\beta$-VAEの復元精度と絡み合いの本質的にのトレードオフを除去する。既存のメソッド、例えば$\beta$-VAE や FactorVAE は、目的関数の KL 分割項に大きな重みを割り当て、より良い絡み合いのために高い復元誤差をもたらす。この問題を軽減するため,KL分割重みを動的に調整し,トレードオフをより有利な点に制御する制御VAEが最近開発された。しかし、ControlVAEは大きな$\beta$の必要性と小さな$\beta$の必要性の間の競合を取り除くことができない。代わりに、トレーニングの異なる段階で異なる$\beta$を維持するDynamicVAEを提案する。ウェイトを進化させるために、$\beta$はそのようなデカップリングを可能にする軌道に沿って、DynamicVAEは修正されたインクリメンタルPI(proportional-integral)コントローラを利用し、移動平均とハイブリッドアニール法を用い、KL分割の値を厳密に制御された方法でスムーズに進化させる。提案手法の安定性を理論的に証明する。 3つのベンチマークデータセットによる評価結果から,DynamicVAEは既存手法に匹敵する歪みを達成しつつ,再構成精度を著しく向上することが示された。提案手法は,両手法が互いに絡み合った表現学習と再構成を分離し,両者の緊張関係を解消できることを確認した。

関連論文リスト

Towards aerodynamic surrogate modeling based on $β$-variational autoencoders [0.0]
次元還元法と回帰法を組み合わせたサーロゲートモデルは,高忠実度計算流体力学データの必要性を低減するために不可欠である。飛行条件を考慮に入れた超音速翼の圧力分布(マッハ数と攻撃角度)を予測するために,潜時空間回帰に基づく代理モデルを提案する。
論文参考訳（メタデータ） (2024-08-09T09:43:10Z)
Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-02-14T07:27:30Z)
Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
相関に基づくステレオマッチングは優れた性能を達成した。固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
論文参考訳（メタデータ） (2023-07-26T09:47:37Z)
Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve [29.86440019821837]
変分オートエンコーダ(VAE)は、広範囲のアプリケーションで使用されるデータの潜在表現を学習するための強力なツールである。本稿では,1回のトレーニングで様々な$beta$に対応する最適なパラメータを学習するための,計算効率のよいフレームワークであるMulti-Rate VAEを紹介する。
論文参考訳（メタデータ） (2022-12-07T19:02:34Z)
Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文参考訳（メタデータ） (2022-09-29T13:49:57Z)
A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文参考訳（メタデータ） (2022-06-09T15:01:36Z)
Robust Online Control with Model Misspecification [96.23493624553998]
本研究では,未知の非線形力学系のモデル不特定性を考慮したオンライン制御について検討する。本研究は, 線形近似からの偏差を許容できる程度に測定できるロバスト性に着目した。
論文参考訳（メタデータ） (2021-07-16T07:04:35Z)
Demystifying Inductive Biases for $\beta$-VAE Based Architectures [19.53632220171481]
私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
論文参考訳（メタデータ） (2021-02-12T23:57:20Z)
ControlVAE: Tuning, Analytical Properties, and Performance Analysis [14.272917020105147]
ControlVAEは、新しい変分自動エンコーダフレームワークである。 VAEモデルのKL分割を所定の値に安定化する。復元品質とKL分割の良好なトレードオフを達成することができる。
論文参考訳（メタデータ） (2020-10-31T12:32:39Z)
Understanding the Difficulty of Training Transformers [120.99980924577787]
バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
論文参考訳（メタデータ） (2020-04-17T13:59:07Z)
Momentum Improves Normalized SGD [51.27183254738711]
モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
論文参考訳（メタデータ） (2020-02-09T07:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。