論文の概要: On the Fisher-Rao Gradient of the Evidence Lower Bound
- arxiv url: http://arxiv.org/abs/2307.11249v1
- Date: Thu, 20 Jul 2023 21:49:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 14:24:10.390655
- Title: On the Fisher-Rao Gradient of the Evidence Lower Bound
- Title(参考訳): 下部境界における水産-ラオ勾配について
- Authors: Nihat Ay, Jesse van Oostrum
- Abstract要約: 本稿は、 ELBO という証拠の下界のフィッシャー・ラオ勾配(英語版)、または自然勾配(英語版)について研究する。
ELBOの自然勾配は、学習の主目的関数である目標分布からのクルバック・リーブラー分岐の自然勾配と関係している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article studies the Fisher-Rao gradient, also referred to as the natural
gradient, of the evidence lower bound, the ELBO, which plays a crucial role
within the theory of the Variational Autonecoder, the Helmholtz Machine and the
Free Energy Principle. The natural gradient of the ELBO is related to the
natural gradient of the Kullback-Leibler divergence from a target distribution,
the prime objective function of learning. Based on invariance properties of
gradients within information geometry, conditions on the underlying model are
provided that ensure the equivalence of minimising the prime objective function
and the maximisation of the ELBO.
- Abstract(参考訳): 本稿では, 変動オートネコーダ, ヘルムホルツ機械, 自由エネルギー原理の理論において重要な役割を担っているエビデンス下界の自然勾配, エルボのフィッシャー・ラオ勾配について考察する。
ELBOの自然勾配は、学習の主目的関数である目標分布からのクルバック・リーブラー分岐の自然勾配と関連している。
情報幾何学における勾配の不変性に基づいて、主目的関数の最小化とELBOの最大化の同値性を確保するための基礎モデルの条件が提供される。
関連論文リスト
- Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients [15.218434620361387]
状態-作用分布のフィッシャー情報行列に基づく別の自然勾配法について検討する。
摂動型フィッシャー・ラオ勾配流と自然勾配流の近似誤差に対するサブ線形収束性を示す。
論文 参考訳(メタデータ) (2024-03-28T14:16:23Z) - Gradient-flow adaptive importance sampling for Bayesian leave one out
cross-validation for sigmoidal classification models [1.0485739694839669]
勾配流誘導適応的重要度サンプリング(IS)変換は、ベイズ分類モデルに対する点幅のモンテカルロ近似を安定させる。
我々は,ロジスティック回帰と浅部ReLU活性化人工ニューラルネットワークの場合において,ヤコビ行列式の正則式を導出する。
論文 参考訳(メタデータ) (2024-02-13T01:03:39Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳(メタデータ) (2023-10-30T18:43:21Z) - Gradient is All You Need? [0.0]
本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。
本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
論文 参考訳(メタデータ) (2023-06-16T11:30:55Z) - Particle-based Variational Inference with Preconditioned Functional
Gradient Flow [13.519223374081648]
プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。
PFGはStein variational gradient descent (SVGD)に対していくつかの利点がある
ニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
論文 参考訳(メタデータ) (2022-11-25T08:31:57Z) - Implicit Bias of Gradient Descent on Reparametrized Models: On
Equivalence to Mirror Descent [64.26008239544085]
通勤パラメトリゼーションのある勾配流は、関連するレジェンド関数を持つ連続ミラー降下と等価である。
ルジャンドル関数を持つ連続ミラー降下は、関連する通勤パラメトリゼーションを伴う勾配流と見なすことができる。
論文 参考訳(メタデータ) (2022-07-08T17:47:11Z) - Learning to Reason with Neural Networks: Generalization, Unseen Data and
Boolean Measures [44.87247707099189]
本稿では,[ZRKB21]で導入されたポインタ値検索(PVR)ベンチマークについて考察する。
まず、対称ニューラルネットワーク上で勾配勾配勾配の論理関数を学習するために、対象関数の雑音安定性の観点から一般化誤差を下界化できることを示した。
論文 参考訳(メタデータ) (2022-05-26T21:53:47Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。