論文の概要: Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder

• arxiv url: http://arxiv.org/abs/2209.14783v1
• Date: Thu, 29 Sep 2022 13:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:20:11.623485
• Title: Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a Decoupled Decoder
• Title（参考訳）: Decoupled Decoder を用いた学習ガウス後部アグリゲーションによるBeta-VAE訓練
• Authors: Jianning Li, Jana Fragemann, Seyed-Ahmad Ahmadi, Jens Kleesiek, and Jan Egger
• Abstract要約: VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。 本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。 本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
• 参考スコア（独自算出の注目度）: 0.553073476964056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The reconstruction loss and the Kullback-Leibler divergence (KLD) loss in a variational autoencoder (VAE) often play antagonistic roles, and tuning the weight of the KLD loss in $\beta$-VAE to achieve a balance between the two losses is a tricky and dataset-specific task. As a result, current practices in VAE training often result in a trade-off between the reconstruction fidelity and the continuity$/$disentanglement of the latent space, if the weight $\beta$ is not carefully tuned. In this paper, we present intuitions and a careful analysis of the antagonistic mechanism of the two losses, and propose, based on the insights, a simple yet effective two-stage method for training a VAE. Specifically, the method aggregates a learned Gaussian posterior $z \sim q_{\theta} (z|x)$ with a decoder decoupled from the KLD loss, which is trained to learn a new conditional distribution $p_{\phi} (x|z)$ of the input data $x$. Experimentally, we show that the aggregated VAE maximally satisfies the Gaussian assumption about the latent space, while still achieves a reconstruction error comparable to when the latent space is only loosely regularized by $\mathcal{N}(\mathbf{0},I)$. The proposed approach does not require hyperparameter (i.e., the KLD weight $\beta$) tuning given a specific dataset as required in common VAE training practices. We evaluate the method using a medical dataset intended for 3D skull reconstruction and shape completion, and the results indicate promising generative capabilities of the VAE trained using the proposed method. Besides, through guided manipulation of the latent variables, we establish a connection between existing autoencoder (AE)-based approaches and generative approaches, such as VAE, for the shape completion problem. Codes and pre-trained weights are available at https://github.com/Jianningli/skullVAE
• Abstract（参考訳）: 変分オートエンコーダ(vae)におけるkldの損失とkldの損失は、しばしば敵対的な役割を演じ、2つの損失のバランスを達成するために$\beta$-vaeのkldの損失の重みをチューニングすることは、トリッキーでデータセット特有のタスクである。 結果として、VAEトレーニングの現在の実践は、重み$\beta$が慎重に調整されない場合、復元フィリティと潜伏空間の連続性$/$$分散の間のトレードオフをもたらすことが多い。 本稿では,2つの損失の対角的メカニズムの直観と注意深い分析を行い,その知見に基づいて,VAEを訓練するためのシンプルで効果的な2段階の手法を提案する。 具体的には、学習したガウス後部$z \sim q_{\theta} (z|x)$をKLD損失から分離したデコーダで集約し、入力データ$x$の新しい条件分布$p_{\phi} (x|z)$を学習するように訓練する。 実験的に、結束されたvaeは、潜在空間に関するガウスの仮定を最大に満たすが、一方で、潜在空間が$\mathcal{n}(\mathbf{0},i)$ でゆるく正規化される場合に匹敵する再構成誤差が得られる。 提案手法では、一般的なVAEトレーニングプラクティスに必要な特定のデータセットが与えられた場合、ハイパーパラメータ(KLD重み$\beta$)チューニングを必要としない。 本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。 さらに,潜在変数の操作を誘導することで,既存のオートエンコーダ(ae)ベースのアプローチとvaeなどの生成的アプローチとの接続を確立した。 コードとトレーニング済みのウェイトはhttps://github.com/jianningli/skullvaeで入手できる。

関連論文リスト

• Statistical-Computational Trade-offs for Recursive Adaptive Partitioning Estimators [23.056208049082134]
  我々は,高次元回帰のためのグリーディアルゴリズムが局所最適点において立ち往生していることを示す。 低い推定誤差を達成するために、greedyトレーニングには$exp(Omega(d))$が必要であることを示す。 この二分法は、平均場状態における勾配降下(SGD)を訓練した2層ニューラルネットワークを反映する。
  論文  参考訳（メタデータ） (2024-11-07T03:11:53Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence [7.0479532872043755]
  $t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。 t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-12-02T13:14:28Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
  GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。 すべての対称$f$-発散は収束において同値であることを示す。 また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:07Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning [15.317044259237043]
  本稿では, 重みを$beta$-VAEで表すと, 潜伏因子を効果的に分解するために1ドルより大きくなるという一般的な仮定に挑戦する。 我々は,$beta$-VAEが$beta 1$であるだけでなく,動的制御による復元精度を大幅に向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-09-15T00:01:11Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。