Fugu-MT 論文翻訳(概要): Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows

論文の概要: Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows

arxiv url: http://arxiv.org/abs/2207.08219v1
Date: Sun, 17 Jul 2022 16:27:41 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 06:09:20.175517
Title: Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows
Title（参考訳）: 流れの正規化のための逆方向と前方方向のKL分岐のより良い推定器
Authors: Lorenz Vaitl, Kim A. Nicoli, Shinichi Nakajima, Pan Kessel
Abstract要約: 本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。結果として得られる経路勾配推定器は、実装が簡単で、分散が小さく、訓練の収束が早くなるだけでなく、全体の近似結果も良くなる。
参考スコア（独自算出の注目度）: 4.830811539001643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose an algorithm to estimate the path-gradient of both the reverse and forward Kullback-Leibler divergence for an arbitrary manifestly invertible normalizing flow. The resulting path-gradient estimators are straightforward to implement, have lower variance, and lead not only to faster convergence of training but also to better overall approximation results compared to standard total gradient estimators. We also demonstrate that path-gradient training is less susceptible to mode-collapse. In light of our results, we expect that path-gradient estimators will become the new standard method to train normalizing flows for variational inference.
Abstract（参考訳）: 本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。結果として得られる経路勾配推定器は, 実装が容易で, ばらつきが小さく, 訓練の収束が早くなるだけでなく, 通常の全勾配推定器と比較して全体の近似結果が良くなる。また、経路段階訓練がモード崩壊の影響を受けにくいことも示している。この結果を踏まえて, 経路勾配推定器が変分推論のための正規化流れを訓練するための新しい標準手法となることを期待する。

関連論文リスト

On Divergence Measures for Training GFlowNets [3.7277730514654555]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
論文参考訳（メタデータ） (2024-10-12T03:46:52Z)
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference [2.1638817206926855]
ベイズ深層学習における変分推論は、閉形式解を持たない予想の勾配を計算することを伴うことが多い。これらの場合、パスワイズとスコア関数勾配推定器が最も一般的なアプローチである。最近の研究は、経路勾配推定器でさえ分散還元の恩恵を受けることを示唆している。
論文参考訳（メタデータ） (2024-10-08T07:28:46Z)
Fast and Unified Path Gradient Estimators for Normalizing Flows [5.64979077798699]
流れの正規化のための経路勾配推定器は, 変分推定のための標準推定器に比べて, ばらつきが小さい。計算効率を大幅に向上させる高速経路勾配推定器を提案する。我々は、いくつかの自然科学応用において、その優れた性能と分散を実証的に確立する。
論文参考訳（メタデータ） (2024-03-23T16:21:22Z)
Can Forward Gradient Match Backpropagation? [2.875726839945885]
フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
論文参考訳（メタデータ） (2023-06-12T08:53:41Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Path-Gradient Estimators for Continuous Normalizing Flows [4.830811539001643]
近年の研究では、単純変分ガウス分布の経路勾配推定器が確立されている。連続正規化フローのより表現力の高い変動族に対する経路勾配推定器を提案する。
論文参考訳（メタデータ） (2022-06-17T21:25:06Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文参考訳（メタデータ） (2021-07-05T21:05:11Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文参考訳（メタデータ） (2020-07-09T03:23:10Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。