論文の概要: Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

• arxiv url: http://arxiv.org/abs/2605.15965v1
• Date: Fri, 15 May 2026 13:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.30304
• Title: Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models
• Title（参考訳）: エントロピーに基づく潜在変数モデルにおける偏極レジームの特徴付け
• Authors: Peter Clapham, Lisa Bonheme, Marek Grzes,
• Abstract要約: 変分オートエンコーダ(VAE)はしばしば、潜伏変数がアクティブ、パッシブ、混合サブセットに分離される偏極状態を示す。 平均表現のエントロピーに基づく偏極状態の簡易な情報理論的分類を提案する。
• 参考スコア（独自算出の注目度）: 5.199765487172328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Autoencoders (VAEs) often exhibit a polarised regime in which latent variables separate into active, passive, and mixed subsets. Existing criteria for identifying active dimensions depend on a Gaussian prior, limiting their applicability to variational models and specific priors. We propose a simple information-theoretic classification of the polarised regime based on the entropy of the mean representation. We show theoretically how this entropy couples to KL minimisation through entropy--variance bounds, and we relate the resulting criterion to Bonheme's active/passive conditions. We also clarify a key limitation: entropy of the mean alone cannot reliably distinguish active from mixed dimensions without additional signals from the variance representation. Empirically, we evaluate the entropy criterion on $β$-VAEs, identifiable VAEs, Least-Volume Autoencoders, and L2-regularised autoencoders, and find that it consistently recovers a polarised regime when such a regime is present across the model classes studied. Finally, we show that passive dimensions can yield small but consistent improvements on downstream tasks when latent codes are appropriately normalised, suggesting that collapse is often a matter of scale rather than absolute information removal.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)はしばしば、潜伏変数がアクティブ、パッシブ、混合サブセットに分離される偏極状態を示す。 活動次元を特定するための既存の基準はガウス事前に依存し、変分モデルや特定の事前に適用性を制限する。 平均表現のエントロピーに基づく偏極状態の簡易な情報理論的分類を提案する。 理論的には、このエントロピーが、エントロピー-分散境界を通してKL最小化とどのように結合するかを示し、その結果の基準とボニヘムのアクティブ/パッシブ条件を関連付ける。 平均のエントロピーだけでは、分散表現から追加の信号なしでは、混合次元と活性を確実に区別することはできない。 実験により,$β$-VAEs,識別可能なVAEs,Last-Volume Autoencoders,L2-regularized Autoencodersのエントロピー基準を評価し,モデルクラスにそのような規則が存在する場合,一貫した偏極状態が回復することを示した。 最後に、受動的次元は、遅延符号が適切に正規化されている場合、下流タスクに対して小さくても一貫した改善をもたらすことが示され、崩壊は絶対的な情報除去というよりも、しばしばスケールの問題であることを示す。

関連論文リスト

• Entropy-Controlled Flow Matching [0.08460698440162889]
  本稿では,グローバルエントロピーレートの予算d/dt H(mu_t) >=-lambdaを強制する連続性方程式パスに対する制約付き変分原理を提案する。 そこで我々は,Lipschitzによる証明型モード被覆と密度フロア保証を取得し,非拘束フローマッチングのための準最適逆例を構築した。
  論文  参考訳（メタデータ） (2026-02-25T06:07:01Z)
• The Entropic Signature of Class Speciation in Diffusion Models [12.212582407125089]
  雑音状態が与えられた潜在意味変数のクラス条件エントロピーを追跡することで、遷移状態の信頼できるシグネチャが得られることを示す。 EDM2-XS と安定拡散 1.5 では,クラス条件エントロピーが意味構造形成に不可欠なノイズ機構を一貫して分離する。
  論文  参考訳（メタデータ） (2026-02-10T10:56:46Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Alignment Entropy Regularization [13.904347165738491]
  エントロピーを用いてモデルの不確実性を測定する。 許容アライメントの小さな部分集合にのみ確率質量を分配するようモデルに促すエントロピー正則化の効果を評価する。
  論文  参考訳（メタデータ） (2022-12-22T18:51:02Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
  他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
  論文  参考訳（メタデータ） (2021-02-20T09:49:51Z)
• Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。 VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。 本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-25T10:29:13Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。