論文の概要: Variance Control for Black Box Variational Inference Using The James-Stein Estimator

• arxiv url: http://arxiv.org/abs/2405.05485v1
• Date: Thu, 9 May 2024 01:04:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:22:38.932963
• Title: Variance Control for Black Box Variational Inference Using The James-Stein Estimator
• Title（参考訳）: James-Stein 推定器を用いたブラックボックス変分推論の可変制御
• Authors: Dominic B. Dayta,
• Abstract要約: ブラックボックス変分推論は、変分推論をよりブラックボックスにする最近の取り組みの連続における有望なフレームワークである。 基本的なバージョンでは、不安定性のために収束しないか、あるいは実行前に更新手順を微調整する必要がある。 多変量推定問題として勾配上昇を緩和してパラメータ更新を制御する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Black Box Variational Inference is a promising framework in a succession of recent efforts to make Variational Inference more ``black box". However, in basic version it either fails to converge due to instability or requires some fine-tuning of the update steps prior to execution that hinder it from being completely general purpose. We propose a method for regulating its parameter updates by reframing stochastic gradient ascent as a multivariate estimation problem. We examine the properties of the James-Stein estimator as a replacement for the arithmetic mean of Monte Carlo estimates of the gradient of the evidence lower bound. The proposed method provides relatively weaker variance reduction than Rao-Blackwellization, but offers a tradeoff of being simpler and requiring no fine tuning on the part of the analyst. Performance on benchmark datasets also demonstrate a consistent performance at par or better than the Rao-Blackwellized approach in terms of model fit and time to convergence.
• Abstract（参考訳）: Black Box Variational Inference(ブラックボックス変分推論)は、変分推論をより"ブラックボックス"にする最近の取り組みの連続において、有望なフレームワークである。 しかし、基本的なバージョンでは、不安定性のために収束しないか、実行前に更新手順を微調整する必要があるため、完全に汎用的なものではない。 確率勾配の上昇を多変量推定問題として再フレーミングすることで,パラメータの更新を調節する手法を提案する。 証拠の下位境界の勾配のモンテカルロ推定の算術平均の代替としてジェームズ=シュタイン推定器の特性について検討する。 提案手法は,Rao-Blackwellizationよりも比較的低分散化を実現するが,より単純で,アナリストに微調整を要さないというトレードオフを提供する。 ベンチマークデータセットのパフォーマンスはまた、モデル適合性と収束時間の観点から、Rao-Blackwellizedアプローチよりも同等以上の一貫性のあるパフォーマンスを示している。

関連論文リスト

• Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold [4.229248343585333]
  本稿では,バーレス=ヴァッサーシュタイン空間の最適化のための新しい分散再現型推定器を提案する。 この推定器は、興味のあるシナリオにおけるモンテカルロ推定器よりも分散が小さいことを示す。 提案した推定器は以前のビュール=ヴァッサーシュタイン法よりも次数次改善が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-03T13:55:49Z)
• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Provable convergence guarantees for black-box variational inference [19.421222110188605]
  ブラックボックスの変分推論は、最適化が成功する証拠がない状況で広く使われている。 我々は,現実的な推論問題に実際に用いられている手法と同様の手法が収束するという厳密な保証を提供する。
  論文  参考訳（メタデータ） (2023-06-04T11:31:41Z)
• When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality [10.21792151799121]
  機械学習に基づく推定器を用いてモンテカルロサンプリングの分散を緩和できることが示される。 希少かつ極端な事象が存在する場合、モンテカルロアルゴリズムの切り詰められたバージョンは、最小値の最適速度を達成することができる。
  論文  参考訳（メタデータ） (2023-05-25T23:09:55Z)
• On the Convergence of Black-Box Variational Inference [16.895490556279647]
  完全ブラックボックス変分推論(BBVI)の最初の収束保証を提供する。 以上の結果より, 対数平滑な後部密度と対数凹凸が強く, 位置スケールの変動が認められなかった。
  論文  参考訳（メタデータ） (2023-05-24T16:59:50Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Monte Carlo Dropout Ensembles for Robust Illumination Estimation [94.14796147340041]
  計算カラー一貫性(Computational Color Constancy)は、多くのカメラシステムで使用される前処理ステップである。 出力の不確実性に応じて異なる深層学習手法を集約することを提案する。 提案したフレームワークはINTEL-TAUデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-20T13:56:14Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。