論文の概要: Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold

• arxiv url: http://arxiv.org/abs/2410.02490v1
• Date: Thu, 3 Oct 2024 13:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:01:18.858553
• Title: Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
• Title（参考訳）: ブレス=ヴァッサーシュタイン多様体上の確率分散-還元ガウス変分推論
• Authors: Hoang Phuc Hau Luu, Hanlin Yu, Bernardo Williams, Marcelo Hartmann, Arto Klami,
• Abstract要約: 本稿では,バーレス=ヴァッサーシュタイン空間の最適化のための新しい分散再現型推定器を提案する。 この推定器は、興味のあるシナリオにおけるモンテカルロ推定器よりも分散が小さいことを示す。 提案した推定器は以前のビュール=ヴァッサーシュタイン法よりも次数次改善が得られることを示す。
• 参考スコア（独自算出の注目度）: 4.229248343585333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization in the Bures-Wasserstein space has been gaining popularity in the machine learning community since it draws connections between variational inference and Wasserstein gradient flows. The variational inference objective function of Kullback-Leibler divergence can be written as the sum of the negative entropy and the potential energy, making forward-backward Euler the method of choice. Notably, the backward step admits a closed-form solution in this case, facilitating the practicality of the scheme. However, the forward step is no longer exact since the Bures-Wasserstein gradient of the potential energy involves "intractable" expectations. Recent approaches propose using the Monte Carlo method -- in practice a single-sample estimator -- to approximate these terms, resulting in high variance and poor performance. We propose a novel variance-reduced estimator based on the principle of control variates. We theoretically show that this estimator has a smaller variance than the Monte-Carlo estimator in scenarios of interest. We also prove that variance reduction helps improve the optimization bounds of the current analysis. We demonstrate that the proposed estimator gains order-of-magnitude improvements over the previous Bures-Wasserstein methods.
• Abstract（参考訳）: Bures-Wasserstein 空間における最適化は、変分推論と Wasserstein 勾配フローの間の接続を引き出すため、機械学習コミュニティで人気を集めている。 Kullback-Leibler分散の変分推論目的関数は負のエントロピーとポテンシャルエネルギーの和として記述することができ、前方のオイラーを選択の方法とすることができる。 特に、後方ステップは、この場合の閉形式解を認め、スキームの実用性を促進する。 しかし、ポテンシャルエネルギーのバーレス=ヴァッサーシュタイン勾配は「難解」な期待を伴うため、前進ステップはもはや正確ではない。 近年のアプローチでは、モンテカルロ法(実際には単サンプル推定器)を用いてこれらの項を近似し、高いばらつきと性能の低下をもたらす。 本稿では,制御変数の原理に基づく分散推定器を提案する。 理論的には、この推定器は興味のあるシナリオにおけるモンテカルロ推定器よりも分散が小さいことを示す。 また、分散低減が現在の解析の最適化限界を改善することを証明した。 提案した推定器は以前のビュール=ヴァッサーシュタイン法よりも次数次改善が得られることを示す。

関連論文リスト

• A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
  そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。 提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
  論文  参考訳（メタデータ） (2024-10-28T13:42:27Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
  実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。 本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:40:43Z)
• Positive definite nonparametric regression using an evolutionary algorithm with application to covariance function estimation [0.0]
  定常過程の共分散関数を推定するための新しい非パラメトリック回帰フレームワークを提案する。 提案手法は, 正定性, 等方性, 単調性を推定者に課すことができる。 提案手法は,長距離依存に対する信頼性の高い推定値を提供する。
  論文  参考訳（メタデータ） (2023-04-25T22:01:14Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Regret-Optimal Filtering [57.51328978669528]
  後悔最適化レンズによる線形状態空間モデルにおけるフィルタの問題を検討する。 我々は, 透視推定器の誤差エネルギー推定における後悔の概念に基づいて, フィルタ設計のための新しい基準を定式化する。 3つのリッキー方程式と1つのリャプノフ方程式を解くことで、後悔と最適推定が容易に実現できることを示す。
  論文  参考訳（メタデータ） (2021-01-25T19:06:52Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。