Fugu-MT 論文翻訳(概要): Dual control variate for faster black-box variational inference

論文の概要: Dual control variate for faster black-box variational inference

arxiv url: http://arxiv.org/abs/2210.07290v2
Date: Mon, 29 May 2023 21:02:38 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 02:25:32.104022
Title: Dual control variate for faster black-box variational inference
Title（参考訳）: 高速なブラックボックス変分推定のためのデュアル制御変分法
Authors: Xi Wang, Tomas Geffner, Justin Domke
Abstract要約: ブラックボックス変分推論は勾配推定において高いばらつきに悩まされる。両音源の共振を低減できる新しい「二重」制御バリアイトを提案する。
参考スコア（独自算出の注目度）: 35.84539130382349
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Black-box variational inference is a widely-used framework for Bayesian posterior inference, but in some cases suffers from high variance in gradient estimates, harming accuracy and efficiency. This variance comes from two sources of randomness: Data subsampling and Monte Carlo sampling. Whereas existing control variates only address Monte Carlo noise and incremental gradient methods typically only address data subsampling, we propose a new "dual" control variate capable of jointly reducing variance from both sources of noise. We confirm that this leads to reduced variance and improved optimization in several real-world applications.
Abstract（参考訳）: ブラックボックス変分推論はベイジアン後部推論の広く使われている枠組みであるが、場合によっては勾配推定のばらつきが高く、精度と効率を損なう。このばらつきは、データサブサンプリングとモンテカルロサンプリングの2つのランダム性源から生じる。既存の制御変数はモンテカルロノイズのみに対応し,インクリメンタル勾配法はデータサブサンプリングのみを扱うのが一般的であるのに対し,両音源からのばらつきを協調的に低減できる新しい「二重」制御変数を提案する。実世界のいくつかのアプリケーションにおいて、分散の低減と最適化の改善につながることを確認した。

関連論文リスト

Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
論文参考訳（メタデータ） (2024-03-15T18:13:48Z)
When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality [10.21792151799121]
機械学習に基づく推定器を用いてモンテカルロサンプリングの分散を緩和できることが示される。希少かつ極端な事象が存在する場合、モンテカルロアルゴリズムの切り詰められたバージョンは、最小値の最適速度を達成することができる。
論文参考訳（メタデータ） (2023-05-25T23:09:55Z)
Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。提案手法は,画像分類における既存の手法よりも優れている。
論文参考訳（メタデータ） (2022-12-02T07:31:39Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文参考訳（メタデータ） (2021-06-03T09:34:17Z)
Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
柔軟な変分分布は変分推論を改善するが、最適化は困難である。既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
論文参考訳（メタデータ） (2020-07-29T06:55:11Z)
A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文参考訳（メタデータ） (2020-07-09T03:23:10Z)
Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
論文参考訳（メタデータ） (2020-06-12T22:03:25Z)
Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
論文参考訳（メタデータ） (2020-03-09T13:23:14Z)
Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。