論文の概要: Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs

• arxiv url: http://arxiv.org/abs/2602.09277v1
• Date: Mon, 09 Feb 2026 23:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.283422
• Title: Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs
• Title（参考訳）: β$-VAEsの絡み合い障害を説明できる相互情報崩壊
• Authors: Minh Vu, Xiaoliang Wan, Shuangqing Wei,
• Abstract要約: $-VAEは、教師なしのアンカンジメントのためのフレームワークである。 MIGやSAPなどのベンチマークは、通常、中間の$でピークに達し、正規化が増加するにつれて崩壊する。 情報崩壊から正規化圧力を分離する$-VAEを導入する。
• 参考スコア（独自算出の注目度）: 4.155522769716163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The $β$-VAE is a foundational framework for unsupervised disentanglement, using $β$ to regulate the trade-off between latent factorization and reconstruction fidelity. Empirically, however, disentanglement performance exhibits a pervasive non-monotonic trend: benchmarks such as MIG and SAP typically peak at intermediate $β$ and collapse as regularization increases. We demonstrate that this collapse is a fundamental information-theoretic failure, where strong Kullback-Leibler pressure promotes marginal independence at the expense of the latent channel's semantic informativeness. By formalizing this mechanism in a linear-Gaussian setting, we prove that for $β> 1$, stationarity-induced dynamics trigger a spectral contraction of the encoder gain, driving latent-factor mutual information to zero. To resolve this, we introduce the $λβ$-VAE, which decouples regularization pressure from informational collapse via an auxiliary $L_2$ reconstruction penalty $λ$. Extensive experiments on dSprites, Shapes3D, and MPI3D-real confirm that $λ> 0$ stabilizes disentanglement and restores latent informativeness over a significantly broader range of $β$, providing a principled theoretical justification for dual-parameter regularization in variational inference backbones.
• Abstract（参考訳）: $β$-VAEは教師なしのゆがみの基盤となるフレームワークであり、非教師なしの分解と再構成の忠実さの間のトレードオフを制御するために$β$を使用する。 MIGやSAPのようなベンチマークは通常、正則化が増加するにつれて、中間の$β$でピークし、崩壊する。 この崩壊は基本的な情報理論上の失敗であり、Kulback-Leiblerの強いプレッシャーは、潜伏チャネルのセマンティック・インフォメーションを犠牲にして、限界独立を促進する。 線形ガウス的条件でこの機構を定式化することにより、β>1$の場合、定常性誘起力学はエンコーダゲインのスペクトル収縮を誘発し、潜在因子の相互情報をゼロにすることを示した。 これを解決するために,補助的な$L_2$再構成ペナルティである$λ$を用いて情報崩壊から正規化圧力を分離する$λβ$-VAEを導入する。 dSprites, Shapes3D, MPI3D-real の広範な実験により、$λ> 0$ は、非常に広い範囲の$β$ で、ゆがみを安定化し、潜時的な情報性を取り戻すことが確認された。

関連論文リスト

• A Theoretical and Empirical Taxonomy of Imbalance in Binary Classification [0.0]
  我々は、不均衡が差別境界をいかに変化させるかを示し、通常、マイルド、エクストリーム、カタストロフィの4つの状態を予測する劣化勾配を生じさせる。 パラメトリックモデルと非パラメトリックモデル全体で、経験的劣化は理論的な予測に密接に従う。 これらの結果は、三重項 $(,,)$ がモデルに依存しない幾何的基底を持つ不均衡による劣化の説明を提供することを示している。
  論文  参考訳（メタデータ） (2026-01-07T18:02:11Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise [10.844819221753042]
  我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。 i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。 我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
  論文  参考訳（メタデータ） (2025-10-10T21:57:18Z)
• Noise-induced decoherence-free zones for anyons [0.0]
  固定パラメータから変動量への交換位相の促進を行う異種システムのためのフレームワークを開発する。 保護モードは、常に$thetastar = pi/2$というデファを最小化し、$D$の特定の形式とは無関係であることを示す。 これは、ノイズの多い異音系におけるコヒーレンスを最適化するための単純な設計規則を強調している。
  論文  参考訳（メタデータ） (2025-10-07T16:21:57Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [45.935798913942904]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning [15.317044259237043]
  本稿では, 重みを$beta$-VAEで表すと, 潜伏因子を効果的に分解するために1ドルより大きくなるという一般的な仮定に挑戦する。 我々は,$beta$-VAEが$beta 1$であるだけでなく,動的制御による復元精度を大幅に向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-09-15T00:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。