論文の概要: KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint
Support
- arxiv url: http://arxiv.org/abs/2106.08929v1
- Date: Wed, 16 Jun 2021 16:37:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 21:08:07.318292
- Title: KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint
Support
- Title(参考訳): KALE Flow: 解離支援のある確率のための緩和KL勾配流
- Authors: Pierre Glaser, Michael Arbel, Arthur Gretton
- Abstract要約: 移動音源と固定目標分布との間のクルバック・リーブラー分岐に対する緩和近似の勾配流について検討した。
この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
- 参考スコア(独自算出の注目度): 27.165565512841656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the gradient flow for a relaxed approximation to the
Kullback-Leibler (KL) divergence between a moving source and a fixed target
distribution. This approximation, termed the KALE (KL approximate lower-bound
estimator), solves a regularized version of the Fenchel dual problem defining
the KL over a restricted class of functions. When using a Reproducing Kernel
Hilbert Space (RKHS) to define the function class, we show that the KALE
continuously interpolates between the KL and the Maximum Mean Discrepancy
(MMD). Like the MMD and other Integral Probability Metrics, the KALE remains
well defined for mutually singular distributions. Nonetheless, the KALE
inherits from the limiting KL a greater sensitivity to mismatch in the support
of the distributions, compared with the MMD. These two properties make the KALE
gradient flow particularly well suited when the target distribution is
supported on a low-dimensional manifold. Under an assumption of sufficient
smoothness of the trajectories, we show the global convergence of the KALE
flow. We propose a particle implementation of the flow given initial samples
from the source and the target distribution, which we use to empirically
confirm the KALE's properties.
- Abstract(参考訳): 移動源と固定目標分布との間のクルバック・ライバー(kl)の発散に対する緩和近似の勾配流れについて検討した。
この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
再生カーネルヒルベルト空間(RKHS)を用いて関数クラスを定義すると、KALEがKLと最大平均離散性(MMD)を連続的に補間することを示す。
MMDや他の積分確率計量と同様に、KALEは互いに特異な分布に対してよく定義される。
それでも、KALEはKLの制限から、MDDと比較して分布の支持におけるミスマッチに対する感度が向上する。
これらの2つの性質により、ターゲット分布が低次元多様体上で支持されているとき、ケール勾配流は特に適している。
軌道の十分な滑らかさの仮定の下では、ケール流の大域的収束を示す。
本稿では,ソースから得られた初期サンプルとターゲット分布の粒子的実装を提案し,KALEの特性を実証的に確認する。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳(メタデータ) (2023-06-20T12:36:28Z) - Concentration Bounds for Discrete Distribution Estimation in KL
Divergence [21.640337031842368]
平均スケールからの偏差が$sqrtk/n$とすると、$n ge k$は$k/n$の最良の事前結果を改善する。
また、一致した下界を確立し、この境界が多対数因子に密接であることを示す。
論文 参考訳(メタデータ) (2023-02-14T07:17:19Z) - Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。
我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
論文 参考訳(メタデータ) (2022-08-16T12:13:29Z) - Learn Quasi-stationary Distributions of Finite State Markov Chain [2.780408966503282]
準定常分布の表現を計算するための強化学習(RL)手法を提案する。
候補分布と真の目標分布によって誘導される2つのマルコフ経路分布のKL偏差を最小化する。
対応する政策勾配定理を導出し,最適な解法と値関数を学習するためのアクター・クリティカルなアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-11-19T02:56:34Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳(メタデータ) (2021-03-11T21:49:19Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。