論文の概要: Historical Consensus: Preventing Posterior Collapse via Iterative Selection of Gaussian Mixture Priors

• arxiv url: http://arxiv.org/abs/2603.10935v2
• Date: Thu, 12 Mar 2026 05:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.48518
• Title: Historical Consensus: Preventing Posterior Collapse via Iterative Selection of Gaussian Mixture Priors
• Title（参考訳）: 歴史的コンセンサス : ガウス混合前駆体の反復的選択による後方崩壊の予防
• Authors: Zegu Zhang, Jian Zhang,
• Abstract要約: 変分オートエンコーダ(VAE)は、しばしば後部崩壊に悩まされる。 アーキテクチャ上の制約による崩壊を避ける代わりに、完全に崩壊する可能性を排除します。
• 参考スコア（独自算出の注目度）: 4.284407845277412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) frequently suffer from posterior collapse, where latent variables become uninformative and the approximate posterior degenerates to the prior. Recent work has characterized this phenomenon as a phase transition governed by the spectral properties of the data covariance matrix. In this paper, we propose a fundamentally different approach: instead of avoiding collapse through architectural constraints or hyperparameter tuning, we eliminate the possibility of collapse altogether by leveraging the multiplicity of Gaussian mixture model (GMM) clusterings. We introduce Historical Consensus Training, an iterative selection procedure that progressively refines a set of candidate GMM priors through alternating optimization and selection. The key insight is that models trained to satisfy multiple distinct clustering constraints develop a historical barrier -- a region in parameter space that remains stable even when subsequently trained with a single objective. We prove that this barrier excludes the collapsed solution, and demonstrate through extensive experiments on synthetic and real-world datasets that our method achieves non-collapsed representations regardless of decoder variance or regularization strength. Our approach requires no explicit stability conditions (e.g., $σ^{\prime 2} < λ_{\max}$) and works with arbitrary neural architectures. The code is available at https://github.com/tsegoochang/historical-consensus-vae.
• Abstract（参考訳）: 変分オートエンコーダ(VAEs)は、潜伏変数が非形式的になり、近似した後続変数がそれ以前の縮退する、後続の崩壊にしばしば悩まされる。 近年の研究は、この現象をデータ共分散行列のスペクトル特性に支配される相転移として特徴づけている。 本稿では,アーキテクチャ制約やハイパーパラメータチューニングによる崩壊を避ける代わりに,ガウス混合モデル(GMM)クラスタリングの多重性を活用することにより,崩壊の可能性を完全に排除する,という基本的なアプローチを提案する。 本稿では,最適化と選択を交互に行い,GMM先行候補の集合を段階的に洗練する反復的選択手順であるヒストリカル・コンセンサス・トレーニングを紹介する。 重要な洞察は、複数の異なるクラスタリング制約を満たすように訓練されたモデルが歴史的障壁を発達させることである。 我々は,この障壁が崩壊した解を排除していることを証明し,デコーダの分散や正規化強度によらず,非崩壊表現を達成できるような,合成および実世界のデータセットに関する広範な実験を通じて実証する。 我々のアプローチでは、明示的な安定性条件(例えば、$σ^{\prime 2} < λ_{\max}$)は必要とせず、任意のニューラルネットワークで動作する。 コードはhttps://github.com/tsegoochang/historical-consensus-vae.comで公開されている。

関連論文リスト

• Uncertainty-aware data assimilation through variational inference [1.0214749455979089]
  決定論的機械学習アプローチに対する変分推論に基づく拡張を提案する。 我々の新しいモデルは、ほぼ完全に校正された予測が得られることを示す。
  論文  参考訳（メタデータ） (2025-10-20T07:54:35Z)
• Robust Canonicalization through Bootstrapped Data Re-Alignment [5.437226012505534]
  昆虫や鳥の識別などのきめ細かい視覚分類タスクは、微妙な視覚的手がかりに対する感受性を必要とする。 分散を低減してトレーニングサンプルを反復的に調整するブートストラップアルゴリズムを提案する。 本手法は,拡張と同等の性能を保ちながら,同変および正準化ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-09T13:05:20Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
  相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。 本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
  論文  参考訳（メタデータ） (2021-08-10T14:46:17Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)
• A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
  変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。 VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
  論文  参考訳（メタデータ） (2020-04-27T05:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。