論文の概要: FlowVAT: Normalizing Flow Variational Inference with Affine-Invariant Tempering

• arxiv url: http://arxiv.org/abs/2505.10466v1
• Date: Thu, 15 May 2025 16:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.412604
• Title: FlowVAT: Normalizing Flow Variational Inference with Affine-Invariant Tempering
• Title（参考訳）: FlowVAT: Affine-invariant Temperingによるフロー変動推論の正規化
• Authors: Juehang Qin, Shixiao Liang, Christopher Tunnell,
• Abstract要約: 多モード・高次元後肢は変分推論に重要な課題を呈する。 本稿では,フロー変動推論を正規化するための条件付きテンパリング手法であるFlowVATを紹介する。 提案手法は, ベース分布とターゲット分布を同時に焼成し, 焼成下でのアフィン不変性を維持できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal and high-dimensional posteriors present significant challenges for variational inference, causing mode-seeking behavior and collapse despite the theoretical expressiveness of normalizing flows. Traditional annealing methods require temperature schedules and hyperparameter tuning, falling short of the goal of truly black-box variational inference. We introduce FlowVAT, a conditional tempering approach for normalizing flow variational inference that addresses these limitations. Our method tempers both the base and target distributions simultaneously, maintaining affine-invariance under tempering. By conditioning the normalizing flow on temperature, we leverage overparameterized neural networks' generalization capabilities to train a single flow representing the posterior across a range of temperatures. This preserves modes identified at higher temperatures when sampling from the variational posterior at $T = 1$, mitigating standard variational methods' mode-seeking behavior. In experiments with 2, 10, and 20 dimensional multi-modal distributions, FlowVAT outperforms traditional and adaptive annealing methods, finding more modes and achieving better ELBO values, particularly in higher dimensions where existing approaches fail. Our method requires minimal hyperparameter tuning and does not require an annealing schedule, advancing toward fully-automatic black-box variational inference for complicated posteriors.
• Abstract（参考訳）: 多モード後部および高次元後部は, 正規化流れの理論的表現性に拘わらず, モード探索挙動や崩壊を引き起こす, 変分推論の重大な課題を呈している。 従来のアニール法では温度スケジュールとハイパーパラメータチューニングが必要であり、真にブラックボックスの変動推論の目標には達していない。 本稿では,これらの制約に対処するフロー変動推論を正規化するための条件付きテンパリング手法であるFlowVATを紹介する。 提案手法は, ベース分布とターゲット分布を同時に焼成し, 焼成下でのアフィン不変性を維持できる。 温度上での正規化フローの条件付けにより、過パラメータ化されたニューラルネットワークの一般化能力を利用して、さまざまな温度で後部を表す単一のフローをトレーニングする。 これは、標準変分法のモード探索挙動を緩和するため、T = 1$の変分後部からサンプリングする場合、より高い温度で特定されるモードを保存する。 2, 10, 20次元のマルチモーダル分布を用いた実験では、FlowVATは従来のアニール法や適応型アニール法よりも優れており、さらに多くのモードを見つけ、ELBO値、特に既存のアプローチが失敗する高次元において、より良いELBO値が得られる。 提案手法では最小限のハイパーパラメータチューニングが必要であり,複雑な後部に対する完全自動ブラックボックス変分推定に向けて,アニーリングスケジュールを必要としない。

関連論文リスト

• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• Stable Training of Normalizing Flows for High-dimensional Variational Inference [2.139348034155473]
  正規化フロー(NFs)による変分推論は、MCMC法の代替としてますます人気が高まっている。 実際には、勾配のばらつきが大きいため、高次元分布を近似するための深い正規化フローの訓練は不可能であることが多い。 本研究では, 勾配勾配勾配の分散を安定化させる従来の手法は, 実NVPの安定トレーニングを実現するには不十分であることを示す。
  論文  参考訳（メタデータ） (2024-02-26T09:04:07Z)
• Time-changed normalizing flows for accurate SDE modeling [5.402030962296633]
  ブラウン運動の時間変形に基づく動的正規化流れの新たな変換を提案する。 このアプローチは、他の方法ではモデル化できないいくつかのSDEを効果的にモデル化することを可能にする。
  論文  参考訳（メタデータ） (2023-12-22T13:57:29Z)
• Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories [6.222204646855336]
  格子場理論の文脈における正規化流れのモード崩壊の結果について検討する。 本稿では,モード崩壊の度合いを定量化し,その結果の偏りを導出する指標を提案する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:22Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• The Variational Method of Moments [65.91730154730905]
  条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。 OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。 同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-12-17T07:21:06Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。