Fugu-MT 論文翻訳(概要): On the Natural Gradient of the Evidence Lower Bound

論文の概要: On the Natural Gradient of the Evidence Lower Bound

arxiv url: http://arxiv.org/abs/2307.11249v2
Date: Wed, 01 Oct 2025 11:08:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-03 00:38:48.311407
Title: On the Natural Gradient of the Evidence Lower Bound
Title（参考訳）: エビデンス下界の自然勾配について
Authors: Nihat Ay, Jesse van Oostrum, Adwait Datar,
Abstract要約: 本稿では,エビデンス・ローバウンド(ELBO)のフィッシャー・ラオ勾配(自然勾配とも呼ばれる)について考察する。このことは、エビデンスとその下限であるELBOの間のギャップが、本質的に、制約のない最適化の中で消滅する自然勾配を持つことを明らかにする。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This article studies the Fisher-Rao gradient, also referred to as the natural gradient, of the evidence lower bound (ELBO) which plays a central role in generative machine learning. It reveals that the gap between the evidence and its lower bound, the ELBO, has essentially a vanishing natural gradient within unconstrained optimization. As a result, maximization of the ELBO is equivalent to minimization of the Kullback-Leibler divergence from a target distribution, the primary objective function of learning. Building on this insight, we derive a condition under which this equivalence persists even when optimization is constrained to a model. This condition yields a geometric characterization, which we formalize through the notion of a cylindrical model.
Abstract（参考訳）: 本稿では、生成機械学習において中心的な役割を果たすエビデンスローバウンド(ELBO)のフィッシャー・ラオ勾配(自然勾配とも呼ばれる)について研究する。このことは、エビデンスとその下限であるELBOの間のギャップが、本質的に、制約のない最適化の中で消滅する自然勾配を持っていることを明らかにしている。その結果、ELBOの最大化は、学習の主目的関数である目標分布からのKulback-Leibler分散の最小化と等価である。この知見に基づいて、モデルに最適化が制約された場合でも、この等価性が持続する条件を導出する。この条件は幾何学的特徴を与えるが、これは円筒モデルの概念によって定式化される。

関連論文リスト

Hellinger-Kantorovich Gradient Flows: Global Exponential Decay of Entropy Functionals [52.154685604660465]
本稿では,Heringer-Kantorovich(HK)幾何に着目し,正測度と確率測度の勾配流の族について検討する。中心的な寄与は、オットー・ワッサーシュタインおよびヘルリンガー型勾配流の下でのエントロピー汎函数の大域的指数減衰挙動の完全な特徴づけである。
論文参考訳（メタデータ） (2025-01-28T16:17:09Z)
A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文参考訳（メタデータ） (2025-01-20T02:48:07Z)
Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
微分自由拡散多様体制約勾配(FreeMCG)を導入する。 FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
論文参考訳（メタデータ） (2024-11-22T11:15:14Z)
Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
論文参考訳（メタデータ） (2024-10-27T22:52:08Z)
Semi-Implicit Functional Gradient Flow [30.32233517392456]
近似系として摂動粒子を用いる関数勾配ParVI法を提案する。対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
論文参考訳（メタデータ） (2024-10-23T15:00:30Z)
Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients [15.218434620361387]
状態-作用分布のフィッシャー情報行列に基づく別の自然勾配法について検討する。摂動型フィッシャー・ラオ勾配流と自然勾配流の近似誤差に対するサブ線形収束性を示す。
論文参考訳（メタデータ） (2024-03-28T14:16:23Z)
Gradient is All You Need? [0.0]
本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
論文参考訳（メタデータ） (2023-06-16T11:30:55Z)
Particle-based Variational Inference with Preconditioned Functional Gradient Flow [13.519223374081648]
プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。 PFGはStein variational gradient descent (SVGD)に対していくつかの利点があるニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
論文参考訳（メタデータ） (2022-11-25T08:31:57Z)
Learning to Reason with Neural Networks: Generalization, Unseen Data and Boolean Measures [44.87247707099189]
本稿では,[ZRKB21]で導入されたポインタ値検索(PVR)ベンチマークについて考察する。まず、対称ニューラルネットワーク上で勾配勾配勾配の論理関数を学習するために、対象関数の雑音安定性の観点から一般化誤差を下界化できることを示した。
論文参考訳（メタデータ） (2022-05-26T21:53:47Z)
Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文参考訳（メタデータ） (2021-02-12T12:23:13Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文参考訳（メタデータ） (2020-02-20T15:43:02Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。