Fugu-MT 論文翻訳(概要): On the Fisher-Rao Gradient of the Evidence Lower Bound

論文の概要: On the Fisher-Rao Gradient of the Evidence Lower Bound

arxiv url: http://arxiv.org/abs/2307.11249v1
Date: Thu, 20 Jul 2023 21:49:38 GMT
ステータス: 処理完了
システム内更新日: 2023-07-24 14:24:10.390655
Title: On the Fisher-Rao Gradient of the Evidence Lower Bound
Title（参考訳）: 下部境界における水産-ラオ勾配について
Authors: Nihat Ay, Jesse van Oostrum
Abstract要約: 本稿は、 ELBO という証拠の下界のフィッシャー・ラオ勾配(英語版)、または自然勾配(英語版)について研究する。 ELBOの自然勾配は、学習の主目的関数である目標分布からのクルバック・リーブラー分岐の自然勾配と関係している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This article studies the Fisher-Rao gradient, also referred to as the natural gradient, of the evidence lower bound, the ELBO, which plays a crucial role within the theory of the Variational Autonecoder, the Helmholtz Machine and the Free Energy Principle. The natural gradient of the ELBO is related to the natural gradient of the Kullback-Leibler divergence from a target distribution, the prime objective function of learning. Based on invariance properties of gradients within information geometry, conditions on the underlying model are provided that ensure the equivalence of minimising the prime objective function and the maximisation of the ELBO.
Abstract（参考訳）: 本稿では, 変動オートネコーダ, ヘルムホルツ機械, 自由エネルギー原理の理論において重要な役割を担っているエビデンス下界の自然勾配, エルボのフィッシャー・ラオ勾配について考察する。 ELBOの自然勾配は、学習の主目的関数である目標分布からのクルバック・リーブラー分岐の自然勾配と関連している。情報幾何学における勾配の不変性に基づいて、主目的関数の最小化とELBOの最大化の同値性を確保するための基礎モデルの条件が提供される。

関連論文リスト

Hellinger-Kantorovich Gradient Flows: Global Exponential Decay of Entropy Functionals [52.154685604660465]
本稿では,Heringer-Kantorovich(HK)幾何に着目し,正測度と確率測度の勾配流の族について検討する。中心的な寄与は、オットー・ワッサーシュタインおよびヘルリンガー型勾配流の下でのエントロピー汎函数の大域的指数減衰挙動の完全な特徴づけである。
論文参考訳（メタデータ） (2025-01-28T16:17:09Z)
A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文参考訳（メタデータ） (2025-01-20T02:48:07Z)
Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
微分自由拡散多様体制約勾配(FreeMCG)を導入する。 FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
論文参考訳（メタデータ） (2024-11-22T11:15:14Z)
Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
論文参考訳（メタデータ） (2024-10-27T22:52:08Z)
Semi-Implicit Functional Gradient Flow [30.32233517392456]
近似系として摂動粒子を用いる関数勾配ParVI法を提案する。対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
論文参考訳（メタデータ） (2024-10-23T15:00:30Z)
Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients [15.218434620361387]
状態-作用分布のフィッシャー情報行列に基づく別の自然勾配法について検討する。我々はフィッシャー・ラオ勾配流と自然勾配流の線形収束を近似誤差まで示す。
論文参考訳（メタデータ） (2024-03-28T14:16:23Z)
Gradient is All You Need? [0.0]
本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
論文参考訳（メタデータ） (2023-06-16T11:30:55Z)
Particle-based Variational Inference with Preconditioned Functional Gradient Flow [13.519223374081648]
プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。 PFGはStein variational gradient descent (SVGD)に対していくつかの利点があるニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
論文参考訳（メタデータ） (2022-11-25T08:31:57Z)
Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文参考訳（メタデータ） (2021-02-12T12:23:13Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。