論文の概要: An Explicit Expansion of the Kullback-Leibler Divergence along its
Fisher-Rao Gradient Flow
- arxiv url: http://arxiv.org/abs/2302.12229v1
- Date: Thu, 23 Feb 2023 18:47:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 14:02:20.313579
- Title: An Explicit Expansion of the Kullback-Leibler Divergence along its
Fisher-Rao Gradient Flow
- Title（参考訳）: 釣りラオ勾配流に沿ったクルバック・リーブラー分岐の明示的拡大
- Authors: Carles Domingo-Enrich, Aram-Alexandre Pooladian
- Abstract要約: $pirhollback$が複数のモードを示すとき、$pirhollback$は、潜在的な関数とは無関係であることを示す。
私たちは$textKLの明示的な拡張を提供します。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
KL。
- 参考スコア（独自算出の注目度）: 8.052709336750823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Let $V_* : \mathbb{R}^d \to \mathbb{R}$ be some (possibly non-convex)
potential function, and consider the probability measure $\pi \propto
e^{-V_*}$. When $\pi$ exhibits multiple modes, it is known that sampling
techniques based on Wasserstein gradient flows of the Kullback-Leibler (KL)
divergence (e.g. Langevin Monte Carlo) suffer poorly in the rate of
convergence, where the dynamics are unable to easily traverse between modes. In
stark contrast, the work of Lu et al. (2019; 2022) has shown that the gradient
flow of the KL with respect to the Fisher-Rao (FR) geometry exhibits a
convergence rate to $\pi$ is that \textit{independent} of the potential
function. In this short note, we complement these existing results in the
literature by providing an explicit expansion of
$\text{KL}(\rho_t^{\text{FR}}\|\pi)$ in terms of $e^{-t}$, where
$(\rho_t^{\text{FR}})_{t\geq 0}$ is the FR gradient flow of the KL divergence.
In turn, we are able to provide a clean asymptotic convergence rate, where the
burn-in time is guaranteed to be finite. Our proof is based on observing a
similarity between FR gradient flows and simulated annealing with linear
scaling, and facts about cumulant generating functions. We conclude with simple
synthetic experiments that demonstrate our theoretical findings are indeed
tight. Based on our numerics, we conjecture that the asymptotic rates of
convergence for Wasserstein-Fisher-Rao gradient flows are possibly related to
this expansion in some cases.
- Abstract（参考訳）: V_* : \mathbb{R}^d \to \mathbb{R}$ をある(非凸かもしれない)ポテンシャル函数とし、確率測度 $\pi \propto e^{-V_*}$ を考える。
$\pi$ が複数のモードを示すとき、kullback-leibler (kl) 分岐のwasserstein勾配流に基づくサンプリング技術(例えば、langevin monte carlo)は収束率に乏しく、モード間のダイナミクスが容易にトラバースできないことが知られている。
対照的に、Lu et al. (2019; 2022) の研究は、フィッシャー・ラオ (FR) 幾何学に対する KL の勾配流は、ポテンシャル函数の \textit{independent} が$\pi$ への収束率を示すことを示した。
この短い注記では、これらの既存の結果を文献中で補うために、$e^{-t}$ の項で $\text{kl}(\rho_t^{\text{fr}}\|\pi)$ の明示的な拡張を提供し、ここで $(\rho_t^{\text{fr}})_{t\geq 0}$ は kl 分岐の fr 勾配フローである。
結果として、バーンイン時間が有限であることを保証したクリーンな漸近収束率を提供できる。
この証明は、FR勾配流と線形スケーリングによる模擬焼鈍の類似性と累積生成関数に関する事実を観察することに基づいている。
理論的な発見が本当にきついことを示す単純な合成実験で締めくくります。
我々の数値に基づいて、ワッサーシュタイン-フィッシャー-ラオ勾配流の漸近収束率は、場合によってはこの膨張と関係していると推測する。
関連論文リスト
- A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。
本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文 参考訳（メタデータ） (2024-11-20T10:08:22Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows [1.5561923713703105]
我々は、同じ辺を持つシュリンガー橋を連続的に計算するワッサーシュタイン勾配流の新しい離散化スキームを導入する。
提案手法には2つの利点がある: 1つはスコア関数の使用を回避し、もう1つはシンクホーンアルゴリズムを用いて粒子ベースの近似を行うことができる。
論文 参考訳（メタデータ） (2024-06-16T07:23:26Z) - Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in
Reproducing Kernel Hilbert Spaces [1.3654846342364308]
特性カーネル$K$に付随する2乗最大平均誤差により$f$-divergenceを正規化する。
我々は、ヒルベルト空間のエンベロープに関するよく知られた結果を利用して、MDD規則化された$f$-divergencesの特性を証明した。
無限退化定数と有限退化定数の両方を持つ$f$-divergencesに対する概念実証数値例を提供する。
論文 参考訳（メタデータ） (2024-02-07T06:30:39Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Unadjusted Langevin algorithm for sampling a mixture of weakly smooth
potentials [0.0]
我々は,ポアンカーの不等式や球体の外側の非強凸の下での収束保証を証明した。
また、滑らかなポテンシャルに対する$L_beta$-Wasserstein 計量の収束も提供する。
論文 参考訳（メタデータ） (2021-12-17T04:10:09Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳（メタデータ） (2021-03-11T21:49:19Z) - Simulated annealing from continuum to discretization: a convergence
analysis via the Eyring--Kramers law [10.406659081400354]
連続時間アニーリング$(X_t;, t ge 0)$とその離散化$(x_k;, k =0,1, ldots)$の収束率について検討する。
我々は、テール確率 $mathbbP(f(X_t) > min f +delta)$ (resp. $mathP(f(x_k) > min f +delta)$) が時間内に崩壊することを証明する(累積ステップサイズでは、resp. $mathP(f(x_k) > min f +delta)$)。
論文 参考訳（メタデータ） (2021-02-03T23:45:39Z) - On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow [26.725412498545385]
パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
論文 参考訳（メタデータ） (2020-11-04T16:55:00Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳（メタデータ） (2020-06-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。