論文の概要: Posterior Collapse as Automatic Spectral Pruning

• arxiv url: http://arxiv.org/abs/2605.22691v1
• Date: Thu, 21 May 2026 16:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.346849
• Title: Posterior Collapse as Automatic Spectral Pruning
• Title（参考訳）: 自動スペクトラルプルーニングとしての後方崩壊
• Authors: Johannes Hirn,
• Abstract要約: 後部崩壊を$-VAEsで行うと, 自動スペクトルプルーニングが実現される。 遅延モードは、その再構築への貢献が$$で設定されたカットオフより下にある場合、崩壊する。 ランダウ安定解析による損失の結果、これを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We show that posterior collapse in $β$-VAEs implements automatic spectral pruning. A latent mode collapses if its contribution to reconstruction is below the cutoff set by $β$. Equilibrium solutions with different $β$ thus reveal a cascade of collapses as latent modes decouple from least to most useful. We derive this as a consequence of the loss via a Landau stability analysis. We define a latent-rescaling-invariant order parameter that ranks active latent modes and whose collapse thresholds identify which effective variables to inspect first. In the linear Gaussian case, the collapse spectrum, utility spectrum, and normalized PCA spectrum coincide, and each collapse follows a mean-field law. We test these predictions on the WorldClim dataset.
• Abstract（参考訳）: 我々は,β$-VAEsの後方崩壊が自動スペクトルプルーニングを実現することを示した。 遅延モードは、その再構成への寄与が$β$のカットオフより下にある場合、崩壊する。 異なる$β$の平衡解は、最小から最も有用に分離された潜在モードとして崩壊のカスケードを明らかにする。 ランダウ安定解析による損失の結果、これを導出する。 本稿では、アクティブ潜時モードをランク付けし、どの有効変数を最初に検査するかを崩壊しきい値で特定する潜在再スケーリング不変順序パラメータを定義する。 線形ガウスの場合、崩壊スペクトル、実用スペクトル、正規化PCAスペクトルは一致し、各崩壊は平均場法則に従う。 We test these predictions on the WorldClim dataset。

関連論文リスト

• How Does Attention Help? Insights from Random Matrices on Signal Recovery from Sequence Models [6.758792133077052]
  固有値分布の制限,外乱固有値,および隠れ信号との固有ベクトルアライメントの正確な特徴を導出する。 パラメータフリー因果自己アテンションを$/d$のスコアスケーリングで行うと、平均プールよりも信号の回復が向上する決定論的調和重みが得られることを示す。
  論文  参考訳（メタデータ） (2026-05-07T18:28:01Z)
• Information-Geometric Decomposition of Generalization Error in Unsupervised Learning [0.0]
  教師なし学習のKulback-Leibler一般化誤差(GE)を,モデル誤差,データバイアス,分散の3つの非負成分に分解する。 分解は任意の e-フラットモデルクラスに対して完全である。
  論文  参考訳（メタデータ） (2026-04-14T06:23:18Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs [4.155522769716163]
  $-VAEは、教師なしのアンカンジメントのためのフレームワークである。 MIGやSAPなどのベンチマークは、通常、中間の$でピークに達し、正規化が増加するにつれて崩壊する。 情報崩壊から正規化圧力を分離する$-VAEを導入する。
  論文  参考訳（メタデータ） (2026-02-09T23:38:11Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Learning-Based Shrinking Disturbance-Invariant Tubes for State- and Input-Dependent Uncertainty [1.3750624267664155]
  我々は、状態依存と入力依存の不確実性の下で、外乱不変チューブの縮小を構築するための学習ベースのフレームワークを開発する。 我々は、リストアップされたイソトン(オーダー保存)固定点マップを介して安全性を認証する。
  論文  参考訳（メタデータ） (2026-01-16T16:47:04Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。