論文の概要: Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
- arxiv url: http://arxiv.org/abs/2603.08257v1
- Date: Mon, 09 Mar 2026 11:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:15.837278
- Title: Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
- Title（参考訳）: ReinMaxを超えて - 離散遅延変数のための低変数勾配推定器
- Authors: Daniel Wang, Thang D. Bui,
- Abstract要約: 離散潜在変数を含む機械学習モデルは、バックプロパゲーションを容易にするために勾配推定器を必要とする。
本稿では,Hunの手法による近似を取り入れたReinMax推定器を提案する。
我々の推定器は、離散潜在空間を持つ変分オートエンコーダの訓練において優れた性能を示す。
- 参考スコア（独自算出の注目度）: 2.0371811934548587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models involving discrete latent variables require gradient estimators to facilitate backpropagation in a computationally efficient manner. The most recent addition to the Straight-Through family of estimators, ReinMax, can be viewed from a numerical ODE perspective as incorporating an approximation via Heun's method to reduce bias, but at the cost of high variance. In this work, we introduce the ReinMax-Rao and ReinMax-CV estimators which incorporate Rao-Blackwellisation and control variate techniques into ReinMax to reduce its variance. Our estimators demonstrate superior performance on training variational autoencoders with discrete latent spaces. Furthermore, we investigate the possibility of leveraging alternative numerical methods for constructing more accurate gradient approximations and present an alternative view of ReinMax from a simpler numerical integration perspective.
- Abstract（参考訳）: 離散潜在変数を含む機械学習モデルは、計算的に効率的なバックプロパゲーションを促進するために勾配推定器を必要とする。
直近のStraight-Through族に追加されたReinMaxは、数値的なODEの観点から、偏りを減らすためにHeunの手法による近似を取り入れているが、高分散のコストがかかると見なすことができる。
本稿では,Rao-Blackwellisation と ReinMax-CV を組み込んだ ReinMax-Rao および ReinMax-CV 推定器を紹介する。
我々の推定器は、離散潜在空間を持つ変分オートエンコーダの訓練において優れた性能を示す。
さらに、より正確な勾配近似を構築するための代替数値手法を活用する可能性について検討し、より単純な数値積分の観点からReinMaxの代替的な視点を示す。
関連論文リスト
- Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳（メタデータ） (2020-10-09T22:54:38Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳（メタデータ） (2020-03-04T01:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。