Fugu-MT 論文翻訳(概要): Variational inference via Wasserstein gradient flows

論文の概要: Variational inference via Wasserstein gradient flows

arxiv url: http://arxiv.org/abs/2205.15902v3
Date: Fri, 21 Apr 2023 16:33:14 GMT
ステータス: 処理完了
システム内更新日: 2023-04-24 18:28:33.919110
Title: Variational inference via Wasserstein gradient flows
Title（参考訳）: ワッサーシュタイン勾配流による変分推定
Authors: Marc Lambert, Sinho Chewi, Francis Bach, Silv\`ere Bonnabel, Philippe Rigollet
Abstract要約: 変分推論 (VI) は大規模ベイズ推論における中心的な計算手法として登場した。我々は、$hat pi$ をガウスあるいはガウスの混合体とする VI の原理的手法を提案する。
参考スコア（独自算出の注目度）: 10.039378223592013
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Along with Markov chain Monte Carlo (MCMC) methods, variational inference (VI) has emerged as a central computational approach to large-scale Bayesian inference. Rather than sampling from the true posterior $\pi$, VI aims at producing a simple but effective approximation $\hat \pi$ to $\pi$ for which summary statistics are easy to compute. However, unlike the well-studied MCMC methodology, algorithmic guarantees for VI are still relatively less well-understood. In this work, we propose principled methods for VI, in which $\hat \pi$ is taken to be a Gaussian or a mixture of Gaussians, which rest upon the theory of gradient flows on the Bures--Wasserstein space of Gaussian measures. Akin to MCMC, it comes with strong theoretical guarantees when $\pi$ is log-concave.
Abstract（参考訳）: マルコフ連鎖モンテカルロ法 (MCMC) とともに、変分推論 (VI) は大規模ベイズ推論における中心的な計算手法として登場した。真の$\pi$からサンプリングするのではなく、VI は単純だが効果的な近似 $\hat \pi$ to $\pi$ を生成することを目的としており、要約統計は計算が容易である。しかし、よく研究されているMCMC法とは異なり、VIのアルゴリズム的保証はいまだによく理解されていない。本研究では, ガウス測度のベレス-ヴァッサーシュタイン空間上の勾配流の理論に従えば, $\hat \pi$ をガウスあるいはガウスの混合とする VI の原理的手法を提案する。 MCMCと同様、$\pi$がlog-concaveである場合、理論上の保証が強い。

関連論文リスト

Provable Benefit of Annealed Langevin Monte Carlo for Non-log-concave Sampling [28.931489333515618]
簡単なアニール型Langevin Monte Carloアルゴリズムに対して$widetildeOleft(fracdbeta2cal A2varepsilon6right)のオラクル複雑性を確立する。例えば、$cal A$ は対象分布 $pi$ と容易にサンプリング可能な分布を補間する確率測度の曲線の作用を表す。
論文参考訳（メタデータ） (2024-07-24T02:15:48Z)
Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文参考訳（メタデータ） (2023-11-03T13:20:11Z)
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文参考訳（メタデータ） (2023-10-23T07:54:39Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space [19.19325201882727]
変分推論 (VI) は、ターゲット分布の$pi$を、抽出可能な分布の族の元によって近似しようとする。本研究では,フォワード・バック・ガウス変分推論(FB-GVI)アルゴリズムを開発し,ガウスVIを解く。提案アルゴリズムでは,$pi$ が log-smooth かつ log-concave である場合に,最先端の収束保証が得られる。
論文参考訳（メタデータ） (2023-04-10T19:49:50Z)
Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators [8.493584276672971]
勾配降下(SGD)とその変種は機械学習に不可欠である。本稿では,マルコフ連鎖モンテカルロ(MCMC)推定器を用いて勾配を計算するSGDアルゴリズムについて考察する。 MCMC-SGDはサドル点から脱出し、$(epsilon,epsilon1/4)$2次定常点に達することが示されている。
論文参考訳（メタデータ） (2023-03-19T08:29:49Z)
Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
論文参考訳（メタデータ） (2023-03-05T15:11:14Z)
Solving Constrained Variational Inequalities via an Interior Point Method [88.39091990656107]
制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。本稿では,2種類の問題においてACVIの収束保証を提供する。この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
論文参考訳（メタデータ） (2022-06-21T17:55:13Z)
Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文参考訳（メタデータ） (2021-02-04T02:21:08Z)
Stein Variational Gaussian Processes [1.6114012813668934]
ガウス過程(GP)モデルにおいて,非ガウス的確率と大規模データ量を持つモデルにおいて,Stein variational descent (SVGD) を用いて推論を行う方法を示す。本手法は, 回帰と分類の両面でのベンチマーク問題, 多モード後部, 550,134 回観測による空気品質の例で実証された。
論文参考訳（メタデータ） (2020-09-25T11:47:44Z)
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。