論文の概要: The computational asymptotics of Gaussian variational inference
- arxiv url: http://arxiv.org/abs/2104.05886v1
- Date: Tue, 13 Apr 2021 01:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:18:53.349684
- Title: The computational asymptotics of Gaussian variational inference
- Title（参考訳）: ガウス変分推論の計算漸近論
- Authors: Zuheng Xu, Trevor Campbell
- Abstract要約: 変動推論は、事前定義されたモンテカルロ法に代わる一般的な方法である。
最適近似は、典型的には計算できない。
CSVIは、グローバルに最適な後部を得る可能性を向上させます。
- 参考スコア（独自算出の注目度）: 19.607668635077495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational inference is a popular alternative to Markov chain Monte Carlo
methods that constructs a Bayesian posterior approximation by minimizing a
discrepancy to the true posterior within a pre-specified family. This converts
Bayesian inference into an optimization problem, enabling the use of simple and
scalable stochastic optimization algorithms. However, a key limitation of
variational inference is that the optimal approximation is typically not
tractable to compute; even in simple settings the problem is nonconvex. Thus,
recently developed statistical guarantees -- which all involve the (data)
asymptotic properties of the optimal variational distribution -- are not
reliably obtained in practice. In this work, we provide two major
contributions: a theoretical analysis of the asymptotic convexity properties of
variational inference in the popular setting with a Gaussian family; and
consistent stochastic variational inference (CSVI), an algorithm that exploits
these properties to find the optimal approximation in the asymptotic regime.
CSVI consists of a tractable initialization procedure that finds the local
basin of the optimal solution, and a scaled gradient descent algorithm that
stays locally confined to that basin. Experiments on nonconvex synthetic and
real-data examples show that compared with standard stochastic gradient
descent, CSVI improves the likelihood of obtaining the globally optimal
posterior approximation.
- Abstract（参考訳）: 変分推論はマルコフ連鎖モンテカルロ法(英語版)(Markov chain Monte Carlo method)の一般的な代替であり、前特定された族内の真の後との差を最小化することによってベイズ近似を構成する。
これによりベイズ推論を最適化問題に変換し、単純でスケーラブルな確率最適化アルゴリズムを利用できる。
しかし、変分推論の鍵となる制限は、最適近似が一般に計算できないことであり、単純な設定であっても問題は非凸である。
したがって、最近開発された統計的保証は、すべて最適な変分分布の(データ)漸近特性を含むもので、実際には確実に得られない。
本研究は,ガウス族との人気設定における変分推論の漸近凸性に関する理論的解析と,これらの特性を利用して漸近状態の最適近似を求めるアルゴリズムである一貫した確率的変分推論(CSVI)の2つの主要な寄与を提供する。
CSVIは、最適解の局所的な盆地を見つける抽出可能な初期化手順と、その流域に局所的に閉じ込められているスケールド勾配降下アルゴリズムからなる。
非凸合成および実データを用いた実験では、標準確率勾配降下と比較してCSVIは最適後方近似を得る可能性を向上させる。
関連論文リスト
- Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。
独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-17T21:52:00Z) - Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。
これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
論文 参考訳（メタデータ） (2024-02-14T10:48:00Z) - Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。
このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。
SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
論文 参考訳（メタデータ） (2023-07-04T06:06:10Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and
Nonsmooth Bi-level Optimization [26.68351521813062]
既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。
本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
論文 参考訳（メタデータ） (2022-03-30T18:53:04Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。