論文の概要: $\mathbfλ$-VAE: Variance Equalization for Posterior Collapse
- arxiv url: http://arxiv.org/abs/2607.05531v1
- Date: Mon, 06 Jul 2026 18:07:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.297661
- Title: $\mathbfλ$-VAE: Variance Equalization for Posterior Collapse
- Title（参考訳）: $\mathbfλ$-VAE: 後方崩壊に対する可変等化
- Abstract要約: 変分オートエンコーダ(VAE)は、しばしば後方崩壊に悩まされる。
論理的に独立しているが結合した2つの原因を特定し定式化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Autoencoders (VAEs) frequently suffer from posterior collapse, a failure mode in which the approximate posterior converges to the prior, rendering the latent code uninformative. Despite extensive research, a unified account of why collapse occurs has remained an open question. We identify and formalize two logically independent but coupled causes. \emph{Gradient imbalance} occurs when the decoder's reconstruction signal vanishes faster than the $\mathbb{KL}$ regularization pressure as the posterior widens. \emph{Information gap} occurs when the stochastic sampling step discards a substantial fraction of the encoder's computed representation, attenuating decoder sensitivity and making collapse inexpensive. Both causes share the same collapse trajectory, and we show that the information gap is algebraically equivalent to mismatch between the aggregate posterior and the prior, unifying two pathologies. Subsequently, we introduce $λ$-VAE, which resolves both causes through a single modification to the reparameterization step: the sampling noise is scaled by per-dimension exponent, while the $\mathbb{KL}$ penalty retains the original posterior variance. This asymmetry shifts the stable training attractor away from the degenerate collapsed state, driving all latent dimensions toward the same equilibrium -- a mechanism we term \emph{variance equalization}. A closed-form optimal exponent per dimension follows from a net information gain objective, with a single hyperparameter controlling the reconstruction-generation tradeoff. We validate on standard benchmarks (Binary MNIST, Binary Omniglot, CIFAR-10, CelebA-64), showing consistent reductions in collapsed dimensions, information capacity gains of up to $2.8\times$ nats, and reconstruction quality improvements of up to $+0.33$ BPD.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)は、しばしば後続の崩壊に悩まされる。
大規模な研究にもかかわらず、なぜ崩壊が起こるのかという統一的な説明は未解決のままである。
論理的に独立しているが結合した2つの原因を特定し定式化する。
\emph{Gradient im Balance} は、デコーダの再構成信号が、後部が拡大するにつれて、$\mathbb{KL}$正規化圧力よりも早く消えるときに発生する。
\emph{Information gap} は、確率的なサンプリングステップがエンコーダの計算された表現のかなりの部分を捨て、デコーダの感度を低下させ、崩壊を安くするときに発生する。
2つの原因は同じ崩壊軌道を共有しており、情報ギャップは集合体後部と前部のミスマッチと代数的に等価であることを示し、2つの病理を統一する。
サンプリングノイズは1次元の指数でスケールされ、$\mathbb{KL}$のペナルティは元の後方分散を保持する。
この非対称性は、安定なトレーニングアトラクターを退化した状態から退避させ、全ての潜伏次元を同じ平衡へと導く。
1次元あたりの閉形式最適指数は、再構成世代トレードオフを制御する1つのハイパーパラメータで、ネット情報ゲイン目標から従う。
我々は,標準ベンチマーク (Binary MNIST, Binary Omniglot, CIFAR-10, CelebA-64) を検証し, 崩壊次元の連続的な減少, 情報容量の最大2.8\times$ nats, 最大$+0.33$ BPDの再構築品質改善を示す。
関連論文リスト
- Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳（メタデータ） (2026-07-06T17:56:11Z) - Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression [0.0]
自己回帰言語モデルにおけるオンラインKVキャッシュ圧縮の速度歪み限界について検討する。
我々は,次点分布の文脈乱れに対する感受性が,エンフェロメトリーよりもエフェロメトリー的に崩壊することを発見した。
論文 参考訳（メタデータ） (2026-05-24T13:54:13Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Posterior Collapse as Automatic Spectral Pruning [0.0]
後部崩壊を$-VAEsで行うと, 自動スペクトルプルーニングが実現される。
遅延モードは、その再構築への貢献が$$で設定されたカットオフより下にある場合、崩壊する。
ランダウ安定解析による損失の結果、これを導出する。
論文 参考訳（メタデータ） (2026-05-21T16:36:10Z) - Information-Geometric Decomposition of Generalization Error in Unsupervised Learning [0.0]
教師なし学習のKulback-Leibler一般化誤差(GE)を,モデル誤差,データバイアス,分散の3つの非負成分に分解する。
分解は任意の e-フラットモデルクラスに対して完全である。
論文 参考訳（メタデータ） (2026-04-14T06:23:18Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs [4.155522769716163]
$-VAEは、教師なしのアンカンジメントのためのフレームワークである。
MIGやSAPなどのベンチマークは、通常、中間の$でピークに達し、正規化が増加するにつれて崩壊する。
情報崩壊から正規化圧力を分離する$-VAEを導入する。
論文 参考訳（メタデータ） (2026-02-09T23:38:11Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳（メタデータ） (2022-09-29T13:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。