論文の概要: A Dual Control Variate for doubly stochastic optimization and black-box variational inference

• arxiv url: http://arxiv.org/abs/2210.07290v1
• Date: Thu, 13 Oct 2022 18:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:32:27.931530
• Title: A Dual Control Variate for doubly stochastic optimization and black-box variational inference
• Title（参考訳）: 二重確率最適化とブラックボックス変分推論のための双対制御変数
• Authors: Xi Wang, Tomas Geffner, Justin Domke
• Abstract要約: 両ソースからの勾配分散を両立させるために,デュアル制御バリアイトを提案する。 従来の分散低減手法と比較して,2倍の最適化問題を考慮に入れた場合,Dual Control Variateは実世界のアプリケーションにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 35.84539130382349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we aim at reducing the variance of doubly stochastic optimization, a type of stochastic optimization algorithm that contains two independent sources of randomness: The subsampling of training data and the Monte Carlo estimation of expectations. Such an optimization regime often has the issue of large gradient variance which would lead to a slow rate of convergence. Therefore we propose Dual Control Variate, a new type of control variate capable of reducing gradient variance from both sources jointly. The dual control variate is built upon approximation-based control variates and incremental gradient methods. We show that on doubly stochastic optimization problems, compared with past variance reduction approaches that take only one source of randomness into account, dual control variate leads to a gradient estimator of significant smaller variance and demonstrates superior performance on real-world applications, like generalized linear models with dropout and black-box variational inference.
• Abstract（参考訳）: 本稿では,確率最適化アルゴリズムの一種である二重確率最適化の分散を低減し,学習データのサブサンプリングと期待値のモンテカルロ推定という2つの独立したランダム性源を含む。 このような最適化体制は、しばしば大きな勾配分散の問題があり、収束の速度が遅くなる。 そこで本稿では,両ソースからの勾配分散を両立できる新しいタイプの制御変数であるDual Control Variateを提案する。 二重制御変数は近似に基づく制御変数と漸進勾配法に基づいて構築される。 双対制御変量体は,ランダム性の源を1つだけ考慮した過去の分散低減法と比較して,二重確率的最適化問題において,より小さい分散の勾配推定につながり,ドロップアウト付き一般化線形モデルやブラックボックス変分推論のような実世界のアプリケーションにおいて優れた性能を示す。

関連論文リスト

• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality [10.21792151799121]
  機械学習に基づく推定器を用いてモンテカルロサンプリングの分散を緩和できることが示される。 希少かつ極端な事象が存在する場合、モンテカルロアルゴリズムの切り詰められたバージョンは、最小値の最適速度を達成することができる。
  論文  参考訳（メタデータ） (2023-05-25T23:09:55Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
  柔軟な変分分布は変分推論を改善するが、最適化は困難である。 既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。 これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2020-07-29T06:55:11Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。