論文の概要: VarGrad: A Low-Variance Gradient Estimator for Variational Inference

• arxiv url: http://arxiv.org/abs/2010.10436v2
• Date: Thu, 29 Oct 2020 10:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:47:37.798449
• Title: VarGrad: A Low-Variance Gradient Estimator for Variational Inference
• Title（参考訳）: VarGrad: 変分推論のための低変数勾配推定器
• Authors: Lorenz Richter, Ayman Boustati, Nikolas N\"usken, Francisco J. R. Ruiz, \"Omer Deniz Akyildiz
• Abstract要約: 我々は、VarGradが、離散VAE上の他の最先端推定器と比較して、トレードオフとトレードオフに有利なばらつきを提供することを示す。
• 参考スコア（独自算出の注目度）: 9.108412698936105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyse the properties of an unbiased gradient estimator of the ELBO for variational inference, based on the score function method with leave-one-out control variates. We show that this gradient estimator can be obtained using a new loss, defined as the variance of the log-ratio between the exact posterior and the variational approximation, which we call the $\textit{log-variance loss}$. Under certain conditions, the gradient of the log-variance loss equals the gradient of the (negative) ELBO. We show theoretically that this gradient estimator, which we call $\textit{VarGrad}$ due to its connection to the log-variance loss, exhibits lower variance than the score function method in certain settings, and that the leave-one-out control variate coefficients are close to the optimal ones. We empirically demonstrate that VarGrad offers a favourable variance versus computation trade-off compared to other state-of-the-art estimators on a discrete VAE.
• Abstract（参考訳）: 我々は,残余制御変数を持つスコア関数法に基づいて,ELBOの非バイアス勾配推定器の特性を変動推論のために解析する。 この勾配推定器は、正後と変分近似の間の対数比の分散として定義される新しい損失を用いて得られることを示し、$\textit{log-variance loss}$と呼ぶ。 ある条件下では、対数分散損失の勾配は(負の)ELBOの勾配と等しい。 この勾配推定器は、ログ分散損失との関係から$\textit{vargrad}$と呼ばれるが、特定の設定においてスコア関数法よりもばらつきが低く、残差の制御変数係数が最適値に近いことを理論的に示している。 我々は、VarGradが離散VAE上の他の最先端推定器と比較して、計算トレードオフに対して好ましいばらつきを提供していることを実証的に示す。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Pathwise Gradient Variance Reduction with Control Variates in Variational Inference [2.1638817206926855]
  ベイズ深層学習における変分推論は、閉形式解を持たない予想の勾配を計算することを伴うことが多い。 これらの場合、パスワイズとスコア関数勾配推定器が最も一般的なアプローチである。 最近の研究は、経路勾配推定器でさえ分散還元の恩恵を受けることを示唆している。
  論文  参考訳（メタデータ） (2024-10-08T07:28:46Z)
• Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models [28.011868604717726]
  複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。 我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
  論文  参考訳（メタデータ） (2022-09-11T13:32:39Z)
• Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping [6.234350105794441]
  勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。 DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。 パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
  論文  参考訳（メタデータ） (2022-08-12T05:37:52Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。