論文の概要: Gradients should stay on Path: Better Estimators of the Reverse- and
Forward KL Divergence for Normalizing Flows
- arxiv url: http://arxiv.org/abs/2207.08219v1
- Date: Sun, 17 Jul 2022 16:27:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 06:09:20.175517
- Title: Gradients should stay on Path: Better Estimators of the Reverse- and
Forward KL Divergence for Normalizing Flows
- Title(参考訳): 流れの正規化のための逆方向と前方方向のKL分岐のより良い推定器
- Authors: Lorenz Vaitl, Kim A. Nicoli, Shinichi Nakajima, Pan Kessel
- Abstract要約: 本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。
結果として得られる経路勾配推定器は、実装が簡単で、分散が小さく、訓練の収束が早くなるだけでなく、全体の近似結果も良くなる。
- 参考スコア(独自算出の注目度): 4.830811539001643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an algorithm to estimate the path-gradient of both the reverse and
forward Kullback-Leibler divergence for an arbitrary manifestly invertible
normalizing flow. The resulting path-gradient estimators are straightforward to
implement, have lower variance, and lead not only to faster convergence of
training but also to better overall approximation results compared to standard
total gradient estimators. We also demonstrate that path-gradient training is
less susceptible to mode-collapse. In light of our results, we expect that
path-gradient estimators will become the new standard method to train
normalizing flows for variational inference.
- Abstract(参考訳): 本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。
結果として得られる経路勾配推定器は, 実装が容易で, ばらつきが小さく, 訓練の収束が早くなるだけでなく, 通常の全勾配推定器と比較して全体の近似結果が良くなる。
また、経路段階訓練がモード崩壊の影響を受けにくいことも示している。
この結果を踏まえて, 経路勾配推定器が変分推論のための正規化流れを訓練するための新しい標準手法となることを期待する。
関連論文リスト
- One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware
Quantization Training [12.400950982075948]
重み量子化は、限られたリソースを持つエッジデバイスに展開するディープニューラルネットワークを圧縮する効果的な手法である。
従来の損失対応量子化法は、全精度勾配を置き換えるために量子化勾配を用いるのが一般的である。
本稿では、損失認識量子化のための1ステップの前進およびバックトラック手法を提案し、より正確で安定した勾配方向を得る。
論文 参考訳(メタデータ) (2024-01-30T05:42:54Z) - Can Forward Gradient Match Backpropagation? [2.875726839945885]
フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。
我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。
局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
論文 参考訳(メタデータ) (2023-06-12T08:53:41Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Path-Gradient Estimators for Continuous Normalizing Flows [4.830811539001643]
近年の研究では、単純変分ガウス分布の経路勾配推定器が確立されている。
連続正規化フローのより表現力の高い変動族に対する経路勾配推定器を提案する。
論文 参考訳(メタデータ) (2022-06-17T21:25:06Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Unbiased Gradient Estimation for Distributionally Robust Learning [2.1777837784979277]
分散的に堅牢な学習(DRL)に基づく新しいアプローチを検討し、内部問題に勾配降下を適用します。
本アルゴリズムはマルチレベルモンテカルロランダム化により勾配勾配を効率的に推定する。
論文 参考訳(メタデータ) (2020-12-22T21:35:03Z) - A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。
線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
論文 参考訳(メタデータ) (2020-11-15T18:19:42Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳(メタデータ) (2020-08-25T00:44:09Z) - A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。
我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文 参考訳(メタデータ) (2020-07-09T03:23:10Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。