論文の概要: Rao-Blackwellised Reparameterisation Gradients

• arxiv url: http://arxiv.org/abs/2506.07687v1
• Date: Mon, 09 Jun 2025 12:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.941338
• Title: Rao-Blackwellised Reparameterisation Gradients
• Title（参考訳）: Rao-Blackwellized Reparameterisation Gradients
• Authors: Kevin Lam, Thang Bui, George Deligiannidis, Yee Whye Teh,
• Abstract要約: 勾配推定器は、潜在ガウス変数を持つモデルの勾配に基づく最適化を容易にする機械である。 本稿では、reパラメータ化勾配推定器のラオ・ブラックウェル化としてR2-G2推定器を提案する。 R2-G2を用いた初期訓練は、reパラメタライゼーションのトリックを複数の応用したモデルにおいて、常に優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 32.130233319282105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Gaussian variables have been popularised in probabilistic machine learning. In turn, gradient estimators are the machinery that facilitates gradient-based optimisation for models with latent Gaussian variables. The reparameterisation trick is often used as the default estimator as it is simple to implement and yields low-variance gradients for variational inference. In this work, we propose the R2-G2 estimator as the Rao-Blackwellisation of the reparameterisation gradient estimator. Interestingly, we show that the local reparameterisation gradient estimator for Bayesian MLPs is an instance of the R2-G2 estimator and Rao-Blackwellisation. This lets us extend benefits of Rao-Blackwellised gradients to a suite of probabilistic models. We show that initial training with R2-G2 consistently yields better performance in models with multiple applications of the reparameterisation trick.
• Abstract（参考訳）: 潜在ガウス変数は確率論的機械学習で一般化されている。 逆に勾配推定器は、潜在ガウス変数を持つモデルの勾配に基づく最適化を容易にする機械である。 再パラメータ化のトリックは、実装が簡単で、変分推論のための低分散勾配が得られるため、しばしばデフォルトの推定器として使用される。 本稿では、パラメータ化勾配推定器のラオ・ブラックウェル化としてR2-G2推定器を提案する。 興味深いことに、ベイジアン MLP に対する局所的なパラメータ化勾配推定器は、R2-G2 推定器とラオ・ブラックウェル化器の例である。 これにより、ラオ・ブラックウェル化勾配の利点を確率モデルのスイートに拡張できる。 R2-G2 を用いた初期訓練は、再パラメータ化のトリックを複数適用したモデルにおいて、一貫した性能が得られることを示す。

関連論文リスト

• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping [6.234350105794441]
  勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。 DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。 パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
  論文  参考訳（メタデータ） (2022-08-12T05:37:52Z)
• Coupled Gradient Estimators for Discrete Latent Variables [41.428359609999326]
  非バイアス勾配推定器の高分散のため、離散潜伏変数を持つ訓練モデルは困難である。 重要サンプリングと統計的結合に基づく新しい推定器の導出を提案する。 提案した分類的勾配推定器は,最先端の性能を示すことを示す。
  論文  参考訳（メタデータ） (2021-06-15T11:28:44Z)
• Generalized Doubly Reparameterized Gradient Estimators [18.253352549048564]
  DReGs推定器の2つの一般化を開発し、条件付きおよび階層的なVAEをより効率的に画像モデリングタスクにトレーニングできることを示した。 まず、階層的変位後部による追加スコア関数項の扱い方を示すことにより、複数の層を持つ階層モデルに推定器を拡張します。 次に、DReGsをサンプリング分布だけでなく任意の分布の関数のスコアリングに一般化することにより、後方のパラメータに加えて、前者のパラメータにも適用できる推定値を求める。
  論文  参考訳（メタデータ） (2021-01-26T19:30:00Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。