Fugu-MT 論文翻訳(概要): Path-Gradient Estimators for Continuous Normalizing Flows

論文の概要: Path-Gradient Estimators for Continuous Normalizing Flows

arxiv url: http://arxiv.org/abs/2206.09016v1
Date: Fri, 17 Jun 2022 21:25:06 GMT
ステータス: 処理完了
システム内更新日: 2022-06-26 19:16:36.800309
Title: Path-Gradient Estimators for Continuous Normalizing Flows
Title（参考訳）: 連続正規化流れに対する経路勾配推定器
Authors: Lorenz Vaitl, Kim A. Nicoli, Shinichi Nakajima, Pan Kessel
Abstract要約: 近年の研究では、単純変分ガウス分布の経路勾配推定器が確立されている。連続正規化フローのより表現力の高い変動族に対する経路勾配推定器を提案する。
参考スコア（独自算出の注目度）: 4.830811539001643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has established a path-gradient estimator for simple variational Gaussian distributions and has argued that the path-gradient is particularly beneficial in the regime in which the variational distribution approaches the exact target distribution. In many applications, this regime can however not be reached by a simple Gaussian variational distribution. In this work, we overcome this crucial limitation by proposing a path-gradient estimator for the considerably more expressive variational family of continuous normalizing flows. We outline an efficient algorithm to calculate this estimator and establish its superior performance empirically.
Abstract（参考訳）: 最近の研究は、単純な変分ガウス分布の経路勾配推定器を確立し、変分分布が正確な目標分布に近づく状態において、経路勾配は特に有益であると主張した。多くの応用において、この状態は単純なガウス変分分布では到達できない。本研究では,連続正規化フローのより表現力のある変分系に対して経路勾配推定器を提案することにより,この限界を克服する。我々はこの推定器を計算し、その優れた性能を実証的に確立する効率的なアルゴリズムを概説する。

関連論文リスト

Pathwise Gradient Variance Reduction with Control Variates in Variational Inference [2.1638817206926855]
ベイズ深層学習における変分推論は、閉形式解を持たない予想の勾配を計算することを伴うことが多い。これらの場合、パスワイズとスコア関数勾配推定器が最も一般的なアプローチである。最近の研究は、経路勾配推定器でさえ分散還元の恩恵を受けることを示唆している。
論文参考訳（メタデータ） (2024-10-08T07:28:46Z)
Fast and Unified Path Gradient Estimators for Normalizing Flows [5.64979077798699]
流れの正規化のための経路勾配推定器は, 変分推定のための標準推定器に比べて, ばらつきが小さい。計算効率を大幅に向上させる高速経路勾配推定器を提案する。我々は、いくつかの自然科学応用において、その優れた性能と分散を実証的に確立する。
論文参考訳（メタデータ） (2024-03-23T16:21:22Z)
Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文参考訳（メタデータ） (2024-02-13T09:40:19Z)
Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文参考訳（メタデータ） (2023-06-27T08:15:28Z)
Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows [4.830811539001643]
本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。結果として得られる経路勾配推定器は、実装が簡単で、分散が小さく、訓練の収束が早くなるだけでなく、全体の近似結果も良くなる。
論文参考訳（メタデータ） (2022-07-17T16:27:41Z)
A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
論文参考訳（メタデータ） (2022-02-23T16:22:28Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Unbiased Gradient Estimation for Distributionally Robust Learning [2.1777837784979277]
分散的に堅牢な学習(DRL)に基づく新しいアプローチを検討し、内部問題に勾配降下を適用します。本アルゴリズムはマルチレベルモンテカルロランダム化により勾配勾配を効率的に推定する。
論文参考訳（メタデータ） (2020-12-22T21:35:03Z)
Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文参考訳（メタデータ） (2020-11-08T17:09:37Z)
Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
論文参考訳（メタデータ） (2020-08-13T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。