論文の概要: An Explicit Expansion of the Kullback-Leibler Divergence along its
Fisher-Rao Gradient Flow
- arxiv url: http://arxiv.org/abs/2302.12229v1
- Date: Thu, 23 Feb 2023 18:47:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 14:02:20.313579
- Title: An Explicit Expansion of the Kullback-Leibler Divergence along its
Fisher-Rao Gradient Flow
- Title（参考訳）: 釣りラオ勾配流に沿ったクルバック・リーブラー分岐の明示的拡大
- Authors: Carles Domingo-Enrich, Aram-Alexandre Pooladian
- Abstract要約: $pirhollback$が複数のモードを示すとき、$pirhollback$は、潜在的な関数とは無関係であることを示す。
私たちは$textKLの明示的な拡張を提供します。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
- 参考スコア（独自算出の注目度）: 8.052709336750823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Let $V_* : \mathbb{R}^d \to \mathbb{R}$ be some (possibly non-convex)
potential function, and consider the probability measure $\pi \propto
e^{-V_*}$. When $\pi$ exhibits multiple modes, it is known that sampling
techniques based on Wasserstein gradient flows of the Kullback-Leibler (KL)
divergence (e.g. Langevin Monte Carlo) suffer poorly in the rate of
convergence, where the dynamics are unable to easily traverse between modes. In
stark contrast, the work of Lu et al. (2019; 2022) has shown that the gradient
flow of the KL with respect to the Fisher-Rao (FR) geometry exhibits a
convergence rate to $\pi$ is that \textit{independent} of the potential
function. In this short note, we complement these existing results in the
literature by providing an explicit expansion of
$\text{KL}(\rho_t^{\text{FR}}\|\pi)$ in terms of $e^{-t}$, where
$(\rho_t^{\text{FR}})_{t\geq 0}$ is the FR gradient flow of the KL divergence.
In turn, we are able to provide a clean asymptotic convergence rate, where the
burn-in time is guaranteed to be finite. Our proof is based on observing a
similarity between FR gradient flows and simulated annealing with linear
scaling, and facts about cumulant generating functions. We conclude with simple
synthetic experiments that demonstrate our theoretical findings are indeed
tight. Based on our numerics, we conjecture that the asymptotic rates of
convergence for Wasserstein-Fisher-Rao gradient flows are possibly related to
this expansion in some cases.
- Abstract（参考訳）: V_* : \mathbb{R}^d \to \mathbb{R}$ をある(非凸かもしれない)ポテンシャル函数とし、確率測度 $\pi \propto e^{-V_*}$ を考える。
$\pi$ が複数のモードを示すとき、kullback-leibler (kl) 分岐のwasserstein勾配流に基づくサンプリング技術(例えば、langevin monte carlo)は収束率に乏しく、モード間のダイナミクスが容易にトラバースできないことが知られている。
対照的に、Lu et al. (2019; 2022) の研究は、フィッシャー・ラオ (FR) 幾何学に対する KL の勾配流は、ポテンシャル函数の \textit{independent} が$\pi$ への収束率を示すことを示した。
この短い注記では、これらの既存の結果を文献中で補うために、$e^{-t}$ の項で $\text{kl}(\rho_t^{\text{fr}}\|\pi)$ の明示的な拡張を提供し、ここで $(\rho_t^{\text{fr}})_{t\geq 0}$ は kl 分岐の fr 勾配フローである。
結果として、バーンイン時間が有限であることを保証したクリーンな漸近収束率を提供できる。
この証明は、FR勾配流と線形スケーリングによる模擬焼鈍の類似性と累積生成関数に関する事実を観察することに基づいている。
理論的な発見が本当にきついことを示す単純な合成実験で締めくくります。
我々の数値に基づいて、ワッサーシュタイン-フィッシャー-ラオ勾配流の漸近収束率は、場合によってはこの膨張と関係していると推測する。
関連論文リスト
- Hellinger-Kantorovich Gradient Flows: Global Exponential Decay of Entropy Functionals [52.154685604660465]
本稿では,Heringer-Kantorovich(HK)幾何に着目し,正測度と確率測度の勾配流の族について検討する。
中心的な寄与は、オットー・ワッサーシュタインおよびヘルリンガー型勾配流の下でのエントロピー汎函数の大域的指数減衰挙動の完全な特徴づけである。
論文 参考訳（メタデータ） (2025-01-28T16:17:09Z) - Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows [1.5561923713703105]
我々は、同じ辺を持つシュリンガー橋を連続的に計算するワッサーシュタイン勾配流の新しい離散化スキームを導入する。
提案手法には2つの利点がある: 1つはスコア関数の使用を回避し、もう1つはシンクホーンアルゴリズムを用いて粒子ベースの近似を行うことができる。
論文 参考訳（メタデータ） (2024-06-16T07:23:26Z) - Exact dynamics of quantum dissipative $XX$ models: Wannier-Stark localization in the fragmented operator space [49.1574468325115]
振動と非振動崩壊を分離する臨界散逸強度において例外的な点が見つかる。
また、演算子部分空間全体の単一減衰モードにつながる異なるタイプの散逸についても記述する。
論文 参考訳（メタデータ） (2024-05-27T16:11:39Z) - Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in Reproducing Kernel Hilbert Spaces [1.2499537119440245]
特性カーネル$K$に付随する2乗最大平均誤差により$f$-divergenceを正規化する。
ヒルベルト空間におけるモローエンベロープのよく知られた結果を利用して、MDD規則化された$f$-divergencesを解析する。
本稿では,経験的指標から始まる流れの概念実証数値例を提案する。
論文 参考訳（メタデータ） (2024-02-07T06:30:39Z) - Over-Parameterization Exponentially Slows Down Gradient Descent for
Learning a Single Neuron [49.45105570960104]
ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。
これら2つの境界は、収束率の正確な特徴づけを与える。
このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
論文 参考訳（メタデータ） (2023-02-20T15:33:26Z) - Unadjusted Langevin algorithm for sampling a mixture of weakly smooth
potentials [0.0]
我々は,ポアンカーの不等式や球体の外側の非強凸の下での収束保証を証明した。
また、滑らかなポテンシャルに対する$L_beta$-Wasserstein 計量の収束も提供する。
論文 参考訳（メタデータ） (2021-12-17T04:10:09Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳（メタデータ） (2021-03-11T21:49:19Z) - Simulated annealing from continuum to discretization: a convergence
analysis via the Eyring--Kramers law [10.406659081400354]
連続時間アニーリング$(X_t;, t ge 0)$とその離散化$(x_k;, k =0,1, ldots)$の収束率について検討する。
我々は、テール確率 $mathbbP(f(X_t) > min f +delta)$ (resp. $mathP(f(x_k) > min f +delta)$) が時間内に崩壊することを証明する(累積ステップサイズでは、resp. $mathP(f(x_k) > min f +delta)$)。
論文 参考訳（メタデータ） (2021-02-03T23:45:39Z) - On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow [26.725412498545385]
パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
論文 参考訳（メタデータ） (2020-11-04T16:55:00Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳（メタデータ） (2020-06-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。