論文の概要: Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference

• arxiv url: http://arxiv.org/abs/2601.14855v2
• Date: Thu, 22 Jan 2026 10:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 13:30:18.575827
• Title: Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference
• Title（参考訳）: 安定なガウス混合ブラックボックス変分推論のための適応指数積分
• Authors: Baojun Che, Yifan Chen, Daniel Zhengyu Huang, Xinying Mao, Weijie Wang,
• Abstract要約: 3つの重要なコンポーネントを組み合わせた、安定的で効率的なフレームワークを開発します。 我々はモンテカルロ推定の下で、ノイズフリーな設定とほぼ余剰な収束の指数収束を証明した。 マルチモーダル分布,Nealのマルチスケールファンネル,およびDarcy流に対するPDEに基づくベイズ逆問題に関する数値実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 12.184990052467198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box variational inference (BBVI) with Gaussian mixture families offers a flexible approach for approximating complex posterior distributions without requiring gradients of the target density. However, standard numerical optimization methods often suffer from instability and inefficiency. We develop a stable and efficient framework that combines three key components: (1) affine-invariant preconditioning via natural gradient formulations, (2) an exponential integrator that unconditionally preserves the positive definiteness of covariance matrices, and (3) adaptive time stepping to ensure stability and to accommodate distinct warm-up and convergence phases. The proposed approach has natural connections to manifold optimization and mirror descent. For Gaussian posteriors, we prove exponential convergence in the noise-free setting and almost-sure convergence under Monte Carlo estimation, rigorously justifying the necessity of adaptive time stepping. Numerical experiments on multimodal distributions, Neal's multiscale funnel, and a PDE-based Bayesian inverse problem for Darcy flow demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: ガウス混合族を持つブラックボックス変分推論(BBVI)は、ターゲット密度の勾配を必要としない複雑な後続分布を近似するための柔軟なアプローチを提供する。 しかし、標準的な数値最適化手法は不安定性と非効率性に悩まされることが多い。 本研究では,(1) 自然勾配の定式化によるアフィン不変プレコンディショニング,(2) 共分散行列の正の定式性を無条件に保持する指数積分器,(3) 安定性を確保するための適応時間ステップ,および温度・収束位相の相違に対応するための3つの重要な要素を組み合わせた,安定かつ効率的なフレームワークを開発する。 提案手法は、多様体最適化とミラー降下に自然な関係を持つ。 ガウス後方に対しては、モンテカルロ推定の下でのノイズフリー設定とほぼ公理収束において指数収束を証明し、適応時間ステップの必要性を厳密に正当化する。 マルチモーダル分布,Nealのマルチスケールファンネル,およびDarcy流に対するPDEに基づくベイズ逆問題に関する数値実験により,提案手法の有効性が示された。

関連論文リスト

• An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
  生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。 異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-20T05:06:26Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Stable Derivative Free Gaussian Mixture Variational Inference for Bayesian Inverse Problems [4.842853252452336]
  主な課題は、フォワードモデルのコストがかかる評価、マルチモーダリティ、フォワードモデルの到達不能勾配である。 我々は,フィッシャー・ラオ自然勾配と特殊二次規則を組み合わせた変分推論フレームワークを開発し,ガウス混合変分族に対する微分自由更新を可能にする。 導関数自由ガウス混合変分推論 (DF-GMVI) と呼ばれるこの手法は共分散陽性とアフィン不変性を保証し、複素後続分布を近似するための安定かつ効率的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-01-08T03:50:15Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Joint control variate for faster black-box variational inference [32.38477249925875]
  ブラックボックスの変分推論性能は、高ばらつきの勾配推定器の使用によって妨げられることがある。 この分散は、データサブサンプリングとモンテカルロサンプリングの2つのランダム性源に由来する。
  論文  参考訳（メタデータ） (2022-10-13T18:36:20Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。