論文の概要: Generalized Doubly Reparameterized Gradient Estimators
- arxiv url: http://arxiv.org/abs/2101.11046v1
- Date: Tue, 26 Jan 2021 19:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 20:02:31.665263
- Title: Generalized Doubly Reparameterized Gradient Estimators
- Title（参考訳）: 一般化2パラメータ勾配推定器
- Authors: Matthias Bauer and Andriy Mnih
- Abstract要約: DReGs推定器の2つの一般化を開発し、条件付きおよび階層的なVAEをより効率的に画像モデリングタスクにトレーニングできることを示した。
まず、階層的変位後部による追加スコア関数項の扱い方を示すことにより、複数の層を持つ階層モデルに推定器を拡張します。
次に、DReGsをサンプリング分布だけでなく任意の分布の関数のスコアリングに一般化することにより、後方のパラメータに加えて、前者のパラメータにも適用できる推定値を求める。
- 参考スコア（独自算出の注目度）: 18.253352549048564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient low-variance gradient estimation enabled by the reparameterization
trick (RT) has been essential to the success of variational autoencoders.
Doubly-reparameterized gradients (DReGs) improve on the RT for multi-sample
variational bounds by applying reparameterization a second time for an
additional reduction in variance. Here, we develop two generalizations of the
DReGs estimator and show that they can be used to train conditional and
hierarchical VAEs on image modelling tasks more effectively. We first extend
the estimator to hierarchical models with several stochastic layers by showing
how to treat additional score function terms due to the hierarchical
variational posterior. We then generalize DReGs to score functions of arbitrary
distributions instead of just those of the sampling distribution, which makes
the estimator applicable to the parameters of the prior in addition to those of
the posterior.
- Abstract（参考訳）: 再パラメータ化トリック(RT)によって実現される効率的な低分散勾配推定は、変動オートエンコーダの成功に不可欠です。
DReGs(Douubly-reparameterized gradient)は、分散のさらなる低減のために2回目の再パラメータ化を施すことにより、マルチサンプル変動境界のRTを改善する。
ここでは、DReGs推定器の2つの一般化を開発し、条件付きおよび階層的なVAEをより効果的に画像モデリングタスクにトレーニングできることを示します。
まず,複数の確率層を持つ階層モデルに推定器を拡張し,階層的変動後部による追加のスコア関数項の扱い方を示す。
次に、DReGsをサンプリング分布だけでなく任意の分布の関数のスコアリングに一般化することにより、後方のパラメータに加えて、前者のパラメータにも適用できる推定値を求める。
関連論文リスト
- Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。
Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。
我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
論文 参考訳（メタデータ） (2024-06-11T15:01:20Z) - Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Gradient Estimation with Discrete Stein Operators [44.64146470394269]
離散分布に対するスタイン演算子に基づく分散化手法を提案する。
提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
論文 参考訳（メタデータ） (2022-02-19T02:22:23Z) - Double Control Variates for Gradient Estimation in Discrete Latent
Variable Models [32.33171301923846]
スコア関数推定器の分散化手法を提案する。
我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
論文 参考訳（メタデータ） (2021-11-09T18:02:42Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - On Signal-to-Noise Ratio Issues in Variational Inference for Deep
Gaussian Processes [55.62520135103578]
重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。
DGPモデルの予測性能が一貫した改善につながることを示す。
論文 参考訳（メタデータ） (2020-11-01T14:38:02Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳（メタデータ） (2020-09-07T15:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。