論文の概要: On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2011.00515v2
• Date: Wed, 21 Jul 2021 12:14:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 22:44:48.457020
• Title: On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes
• Title（参考訳）: 深いガウス過程の変分推論における信号対雑音比問題について
• Authors: Tim G. J. Rudner, Oscar Key, Yarin Gal, Tom Rainforth
• Abstract要約: 重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
• 参考スコア（独自算出の注目度）: 55.62520135103578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the gradient estimates used in training Deep Gaussian Processes (DGPs) with importance-weighted variational inference are susceptible to signal-to-noise ratio (SNR) issues. Specifically, we show both theoretically and via an extensive empirical evaluation that the SNR of the gradient estimates for the latent variable's variational parameters decreases as the number of importance samples increases. As a result, these gradient estimates degrade to pure noise if the number of importance samples is too large. To address this pathology, we show how doubly reparameterized gradient estimators, originally proposed for training variational autoencoders, can be adapted to the DGP setting and that the resultant estimators completely remedy the SNR issue, thereby providing more reliable training. Finally, we demonstrate that our fix can lead to consistent improvements in the predictive performance of DGP models.
• Abstract（参考訳）: 重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 具体的には,潜伏変数の変動パラメータの勾配推定のSNRが,重要サンプル数の増加とともに減少することを示す。 結果として、これらの勾配推定は、重要サンプルの数が大きすぎると純粋なノイズに劣化する。 この病理学に対処するために、もともと変分オートエンコーダをトレーニングするために提案された2倍のパラメータ化勾配推定器をDGP設定に適用し、その結果の推定器がSNR問題を完全に修復し、より信頼性の高いトレーニングを行う方法を示す。 最後に、この修正により、dgpモデルの予測性能が一貫して改善できることを実証する。

関連論文リスト

• Understanding and mitigating difficulties in posterior predictive evaluation [20.894503281724052]
  このような推定器の信号対雑音比(SNR)が極端に低いことを観察する。 本稿では,SNRの変動プロキシ上でテスト時間に最適化された提案分布を用いて,単純なMCサンプリングを重要サンプリングに置き換えることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:50:28Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Generalized Doubly Reparameterized Gradient Estimators [18.253352549048564]
  DReGs推定器の2つの一般化を開発し、条件付きおよび階層的なVAEをより効率的に画像モデリングタスクにトレーニングできることを示した。 まず、階層的変位後部による追加スコア関数項の扱い方を示すことにより、複数の層を持つ階層モデルに推定器を拡張します。 次に、DReGsをサンプリング分布だけでなく任意の分布の関数のスコアリングに一般化することにより、後方のパラメータに加えて、前者のパラメータにも適用できる推定値を求める。
  論文  参考訳（メタデータ） (2021-01-26T19:30:00Z)
• Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds [12.75471887147565]
  本稿では,重要重み付き変動境界(IWAE)のスコア関数勾配推定器の新しい結果を紹介する。 我々は、大きな$K$の極限において、推定子のSignal-to-Noise比(SNR)が$sqrtK$として大きくなるように制御変数を選択することができることを証明した。
  論文  参考訳（メタデータ） (2020-08-05T08:41:46Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Deep Sigma Point Processes [22.5396672566053]
  ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。 ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
  論文  参考訳（メタデータ） (2020-02-21T03:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。