論文の概要: Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space

• arxiv url: http://arxiv.org/abs/2304.05398v1
• Date: Mon, 10 Apr 2023 19:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:12:02.916485
• Title: Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space
• Title（参考訳）: Bures-Wasserstein空間におけるJKOによる前方後方ガウス変動推定
• Authors: Michael Diao, Krishnakumar Balasubramanian, Sinho Chewi, Adil Salim
• Abstract要約: 変分推論 (VI) は、ターゲット分布の$pi$を、抽出可能な分布の族の元によって近似しようとする。 本研究では,フォワード・バック・ガウス変分推論(FB-GVI)アルゴリズムを開発し,ガウスVIを解く。 提案アルゴリズムでは,$pi$ が log-smooth かつ log-concave である場合に,最先端の収束保証が得られる。
• 参考スコア（独自算出の注目度）: 19.19325201882727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference (VI) seeks to approximate a target distribution $\pi$ by an element of a tractable family of distributions. Of key interest in statistics and machine learning is Gaussian VI, which approximates $\pi$ by minimizing the Kullback-Leibler (KL) divergence to $\pi$ over the space of Gaussians. In this work, we develop the (Stochastic) Forward-Backward Gaussian Variational Inference (FB-GVI) algorithm to solve Gaussian VI. Our approach exploits the composite structure of the KL divergence, which can be written as the sum of a smooth term (the potential) and a non-smooth term (the entropy) over the Bures-Wasserstein (BW) space of Gaussians endowed with the Wasserstein distance. For our proposed algorithm, we obtain state-of-the-art convergence guarantees when $\pi$ is log-smooth and log-concave, as well as the first convergence guarantees to first-order stationary solutions when $\pi$ is only log-smooth.
• Abstract（参考訳）: 変分推論 (VI) は、ターゲット分布の$\pi$を、トラクタブルな分布族の元によって近似しようとする。 統計学と機械学習の主な関心はガウスVIであり、KL(Kulback-Leibler)の発散をガウス空間上の$\pi$に最小化することで$\pi$を近似する。 本研究では,ガウス変分法 (FB-GVI) アルゴリズムを開発し,ガウス変分法 (FB-GVI) を解く。 我々のアプローチはKL分散の合成構造を利用しており、これはスムーズな項(ポテンシャル)と、ワッサーシュタイン距離を持つガウス・ワッサーシュタイン空間上の非滑らかな項(エントロピー)の和として記述できる。 提案アルゴリズムでは,$\pi$ が log-smooth かつ log-concave である場合と$\pi$ が log-smooth である場合の1次定常解に対する最初の収束保証を得る。

関連論文リスト

• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Gaussian-Smoothed Sliced Probability Divergences [15.123608776470077]
  滑らか化とスライシングが計量特性と弱位相を保存することを示す。 また、滑らかなパラメータに関して異なる発散の連続性を含む他の性質も導出する。
  論文  参考訳（メタデータ） (2024-04-04T07:55:46Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
  後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。 これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。 しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
  論文  参考訳（メタデータ） (2023-10-23T07:54:39Z)
• Gaussian random field approximation via Stein's method with applications to wide random neural networks [20.554836643156726]
  我々は、よりスムーズな計量のバウンドを$W_$距離に転送できる新しいガウススムージング手法を開発した。 広帯域乱数ニューラルネットワークのガウス確率場近似の第一境界を求める。 我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
  論文  参考訳（メタデータ） (2023-06-28T15:35:10Z)
• Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
  非ガウス成分分析(NGCA)は分布学習問題である。 我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-12-16T18:38:02Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
  推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。 特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
  論文  参考訳（メタデータ） (2020-07-22T18:18:28Z)
• Debiased Sinkhorn barycenters [110.79706180350507]
  最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。