論文の概要: Soft-Constrained Optimization of Latent Space in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2607.23751v1
• Date: Sun, 26 Jul 2026 16:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.218203
• Title: Soft-Constrained Optimization of Latent Space in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダにおける潜時空間のソフト制約最適化
• Authors: Ye Shi,
• Abstract要約: VAEトレーニングを,両者に対処するソフト制約付き最適化問題として定式化する。 低エントロピーの離散因子は1つの潜伏変数にマージする傾向にあるが、高エントロピーの連続因子は複数の変数に分散している。 また、低エントロピーの離散因子は1つの潜伏変数にマージする傾向にあり、一方高エントロピーの連続因子は複数の変数に分散する。
• 参考スコア（独自算出の注目度）: 15.27508597551075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The usefulness of a variational autoencoder (VAE) depends on two properties of its latent space that are hard to obtain together: high encoding capacity in the individual latent variables, and a low-dimensional, disentangled organization of those variables. Weakening the Kullback-Leibler regularization raises capacity but degrades disentanglement, while strengthening it prunes latent variables away entirely. We formulate VAE training as a soft-constrained optimization problem that addresses both. First, we impose an entropy-based constraint (EC) on individual latent variables, showing that the entropy of a latent code upper-bounds the mutual information it carries about the generative factors of the data. Second, we propose a weight-filter method that exploits the slack of the soft constraint to prune low-entropy dimensions during downstream training. On dSprites, the EC raises the aggregate latent-variable activation score by 43-62% over a vanilla VAE, attains the highest FactorVAE score among the \b{eta} \b{eta}-VAE variants (0.891 vs 0.847), and lowers reconstruction error by up to 38%. On MNIST, the weight filter reduces the latent dimensionality supplied to a downstream classifier from ten to two while holding accuracy above 90%, converging in 37% fewer epochs than the same procedure without the EC. We also find that low-entropy discrete factors tend to merge into a single latent variable, whereas high-entropy continuous factors are distributed across several.
• Abstract（参考訳）: 変分自己エンコーダ(VAE)の有用性は、それぞれの潜伏変数の高符号化能力と、それらの変数の低次元で非絡み合いな構成の2つの性質に依存している。 Kullback-Leibler正則化を弱めるとキャパシティが上昇するが、アンタングル化を低下させ、潜伏変数を完全に排除する。 VAEトレーニングを,両者に対処するソフト制約付き最適化問題として定式化する。 まず、各潜伏変数に対してエントロピーに基づく制約(EC)を課し、潜伏符号のエントロピーがデータの生成要因に関する相互情報を上位に有することを示す。 第2に,下流トレーニングにおける低エントロピー次元の創出にソフト制約のひび割れを利用した重みフィルタリング手法を提案する。 dSpritesでは、ECはバニラVAEに対して43-62%の潜在変数活性化スコアを上昇させ、 \b{eta} \b{eta}-VAE変種(0.891対0.847)の中で最も高いFacterVAEスコアを獲得し、復元誤差を最大38%下げる。 MNISTでは、重みフィルターは、下流分類器に供給される潜伏次元を10から2に減らし、精度を90%以上保持し、ECのない同じ手順よりも37%少ないエポックに収束する。 また、低エントロピーの離散因子は1つの潜伏変数にマージする傾向にあり、一方高エントロピーの連続因子は複数の変数に分散する。

関連論文リスト

• A Multi-stage Constrained Optimization Framework for Data-driven Problems [15.27508597551075]
  可変オートエンコーダ(VAE)は高次元のノイズの多いデータをコンパクトな潜在表現に変換する。 VAEベースの制約付き最適化では、3つの課題が続いている。 MCOF(Multi-stage Constrained Optimization Framework)を提案する。
  論文  参考訳（メタデータ） (2026-07-26T06:11:06Z)
• LEVDA: Latent Ensemble Variational Data Assimilation via Differentiable Dynamics [6.953554594702111]
  本稿では,アンサンブル空間の変動スムーズなラテント・アンサンブル・データ・アシミレーション(LEVDA)を提案する。 随伴符号や補助観察から潜伏までのエンコーダを必要とせず、状態と未知のパラメータを同化する。 完全状態の4DEnVarに比べて、同化精度と計算効率が大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-23T00:54:59Z)
• Towards Unified and Lossless Latent Space for 3D Molecular Latent Diffusion Modeling [90.23688195918432]
  3次元分子生成は、薬物発見と物質科学に不可欠である。 既存のアプローチは、典型的には不変かつ同変なモジュラリティに対して別々のラテント空間を保持する。 我々は,3次元分子を潜在空間から潜在配列に圧縮するマルチモーダルVAEである textbfUAE-3D を提案する。
  論文  参考訳（メタデータ） (2025-03-19T08:56:13Z)
• Variantional autoencoder with decremental information bottleneck for disentanglement [16.93743613675349]
  本稿では,情報ボトルネックの低減を図った階層型潜在空間を利用した非交叉表現学習フレームワークDeVAEを提案する。 このアプローチの鍵となる革新は、非交叉不変変換を通じて階層的潜在空間を接続することである。 一連の実験とdSpriteとShapes3Dデータセットのアブレーション研究を通じて, ゆがみと復元のバランスを達成する上でのDeVAEの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T23:38:10Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Fuse It More Deeply! A Variational Transformer with Layer-Wise Latent Variable Inference for Text Generation [85.5379146125199]
  KLの消滅問題を克服する新しい変分変換器フレームワークを提案する。 提案手法は,遅延変数を絡み合わせることで,層内における後部情報減少を回避することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T11:27:46Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• VAE-KRnet and its applications to variational Bayes [4.9545850065593875]
  我々は密度推定や近似のための生成モデル VAE-KRnet を提案している。 VAEはラテント空間を捕捉する次元還元法であり、KRnetはラテント変数の分布をモデル化する。 VAE-KRnetは、データ分布または任意の確率密度関数を近似する密度モデルとして用いられる。
  論文  参考訳（メタデータ） (2020-06-29T23:14:36Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。