論文の概要: Accelerating Stochastic Probabilistic Inference
- arxiv url: http://arxiv.org/abs/2203.07585v1
- Date: Tue, 15 Mar 2022 01:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 12:16:22.110984
- Title: Accelerating Stochastic Probabilistic Inference
- Title（参考訳）: 確率的確率的推論の加速
- Authors: Minta Liu, Suliang Bu
- Abstract要約: 変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。
最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。
我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
- 参考スコア（独自算出の注目度）: 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Stochastic Variational Inference (SVI) has been increasingly
attractive thanks to its ability to find good posterior approximations of
probabilistic models. It optimizes the variational objective with stochastic
optimization, following noisy estimates of the natural gradient. However,
almost all the state-of-the-art SVI algorithms are based on first-order
optimization algorithm and often suffer from poor convergence rate. In this
paper, we bridge the gap between second-order methods and stochastic
variational inference by proposing a second-order based stochastic variational
inference approach. In particular, firstly we derive the Hessian matrix of the
variational objective. Then we devise two numerical schemes to implement
second-order SVI efficiently. Thorough empirical evaluations are investigated
on both synthetic and real dataset to backup both the effectiveness and
efficiency of the proposed approach.
- Abstract（参考訳）: 近年,確率的モデルの後部近似を求める能力により,確率的変分推論 (SVI) がますます魅力的になっている。
確率的最適化により変動目標を最適化し、自然勾配のノイズを推定する。
しかし、最先端のsviアルゴリズムのほとんどが一階最適化アルゴリズムに基づいており、しばしば収束率の低下に苦しむ。
本稿では,二階法と確率的変分推論のギャップを,二階法に基づく確率的変分推論手法の提案により埋める。
特に、まず、変分対象のヘッセン行列を導出する。
次に、2次SVIを効率的に実装するための2つの数値スキームを考案する。
提案手法の有効性と効率の両方をバックアップするために,合成データと実データの両方について,徹底的な実験評価を行った。
関連論文リスト
- Variational Autoencoders for Efficient Simulation-Based Inference [0.3495246564946556]
本稿では、確率自由なシミュレーションに基づく推論のための変分推論フレームワークに基づく生成的モデリング手法を提案する。
我々は,これらのモデルの有効性を,フローベースアプローチに匹敵する結果が得られるように,確立されたベンチマーク問題に対して示す。
論文 参考訳（メタデータ） (2024-11-21T12:24:13Z) - Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems [2.9016548477524156]
知識に基づく獲得関数を定式化し,第1段と第2段の変数を協調的に最適化する。
可変型間の寸法と長さの差が2段階アルゴリズムの非効率性をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-30T16:26:31Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Stochastic Learning Approach to Binary Optimization for Optimal Design
of Experiments [0.0]
本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。
OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。
この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
論文 参考訳（メタデータ） (2021-01-15T03:54:12Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - On the implementation of a global optimization method for mixed-variable
problems [0.30458514384586394]
このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。
これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
論文 参考訳（メタデータ） (2020-09-04T13:36:56Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。