論文の概要: Annealing in variational inference mitigates mode collapse: A theoretical study on Gaussian mixtures

• arxiv url: http://arxiv.org/abs/2602.12923v1
• Date: Fri, 13 Feb 2026 13:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.967777
• Title: Annealing in variational inference mitigates mode collapse: A theoretical study on Gaussian mixtures
• Title（参考訳）: 変分推論におけるアニーリングはモード崩壊を緩和する:ガウス混合の理論的研究
• Authors: Luigi Fogliani, Bruno Loureiro, Marylou Gabrié,
• Abstract要約: 本研究では, トラクタブル環境下でのモード崩壊を緩和するための戦略を数学的に解析する。 本分析は, 適切に選択された焼鈍方式がモード崩壊を確実に防止できることを示す。 本稿では,これらの理論的トレードオフがニューラルネットワークベースモデルであるRealNVP正規化フローに定性的に拡張することを示す。
• 参考スコア（独自算出の注目度）: 12.937511747845436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mode collapse, the failure to capture one or more modes when targetting a multimodal distribution, is a central challenge in modern variational inference. In this work, we provide a mathematical analysis of annealing based strategies for mitigating mode collapse in a tractable setting: learning a Gaussian mixture, where mode collapse is known to arise. Leveraging a low dimensional summary statistics description, we precisely characterize the interplay between the initial temperature and the annealing rate, and derive a sharp formula for the probability of mode collapse. Our analysis shows that an appropriately chosen annealing scheme can robustly prevent mode collapse. Finally, we present numerical evidence that these theoretical tradeoffs qualitatively extend to neural network based models, RealNVP normalizing flows, providing guidance for designing annealing strategies mitigating mode collapse in practical variational inference pipelines.
• Abstract（参考訳）: モード崩壊(英: Mode collapse)とは、マルチモーダル分布をターゲットとする1つ以上のモードを捕捉できないことであり、現代の変分推論において中心的な課題である。 本研究では, モード崩壊が生じるガウス混合を学習する, トラクタブル環境でのモード崩壊を緩和するためのアニーリングに基づく戦略を数学的に解析する。 低次元の要約統計記述を応用し、初期温度と焼鈍速度の相互作用を正確に特徴づけ、モード崩壊確率の急激な公式を導出する。 本分析は, 適切に選択された焼鈍方式がモード崩壊を確実に防止できることを示す。 最後に,これらの理論的トレードオフがニューラルネットワークベースモデル,RealNVP正規化フローに定性的に拡張することを示す数値的証拠を示す。

関連論文リスト

• Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
  本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。 速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
  論文  参考訳（メタデータ） (2025-12-01T05:14:25Z)
• Provable Maximum Entropy Manifold Exploration via Diffusion Models [58.89696361871563]
  探索は科学的な発見のような現実世界の意思決定問題を解決するために重要である。 本稿では,事前学習した拡散モデルにより暗黙的に定義された近似データ多様体に対して,探索をエントロピーとしてキャストする新しいフレームワークを提案する。 本研究では,事前学習した拡散モデルの逐次微調整として探索問題を解くミラー降下に基づくアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2025-06-18T11:59:15Z)
• Mitigating mode collapse in normalizing flows by annealing with an adaptive schedule: Application to parameter estimation [0.6258471240250307]
  有効なサンプルサイズ(ESS)に基づく適応スケジュールは,モード崩壊を軽減できることを示す。 提案手法は, マルコフ連鎖モンテカルロ法より10倍少ない時間で時系列データに適合する生化学的発振子モデルの限界確率を収束させることを実証した。
  論文  参考訳（メタデータ） (2025-05-06T15:58:48Z)
• Robust Optimization with Diffusion Models for Green Security [49.68562792424776]
  グリーンセキュリティでは、効果的パトロールを計画するためには、密猟、違法伐採、違法漁などの敵の行動を予測する必要がある。 本稿では,その強い分布適合性を利用した逆挙動モデリングのための条件付き拡散モデルを提案する。 混合戦略の混合戦略を導入し, 正確なサンプリングを行うために, ツイスト型シークエンシャルモンテカルロ (SMC) サンプリング装置を用いる。
  論文  参考訳（メタデータ） (2025-02-19T05:30:46Z)
• A theoretical perspective on mode collapse in variational inference [8.74105235144778]
  統計的に有利なシナリオにおいてもモード崩壊が存在することを示し、それを駆動する2つの主要なメカニズム、平均アライメントと消滅するウェイトを同定する。 我々の理論的な知見は、一般的な生成モデルのクラスである正規化フローを用いた変分推論の実装と一致している。
  論文  参考訳（メタデータ） (2024-10-17T07:56:30Z)
• Predicting Cascading Failures with a Hyperparametric Diffusion Model [66.89499978864741]
  拡散モデルのレンズによる電力グリッドのカスケード故障について検討する。 我々のモデルは、バイラル拡散原理と物理に基づく概念を統合する。 この拡散モデルはカスケード故障の痕跡から学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:34:24Z)
• Theory of Multimode Squeezed Light Generation in Lossy Media [0.0]
  損失媒体で発生する多重モード励起光の特性を記述するための統一的理論的アプローチを示す。 ガウス状態の重要なクラスについて、2階相関関数のマスター方程式を導出する。 ブロードバンドモードを導入するための様々な技術や戦略を考えることができる。
  論文  参考訳（メタデータ） (2024-03-08T12:30:34Z)
• Bayesian Conditional Diffusion Models for Versatile Spatiotemporal Turbulence Generation [13.278744447861289]
  本稿では,乱流発生の確率的拡散モデルに基づく新しい生成フレームワークを提案する。 提案手法の特長は, 自己回帰に基づく条件抽出に基づく長寿命流れ列生成法である。 数値解析実験により, フレームワークの多目的乱流発生能力を実証した。
  論文  参考訳（メタデータ） (2023-11-14T04:08:14Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。