論文の概要: KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint Support

• arxiv url: http://arxiv.org/abs/2106.08929v1
• Date: Wed, 16 Jun 2021 16:37:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 21:08:07.318292
• Title: KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint Support
• Title（参考訳）: KALE Flow: 解離支援のある確率のための緩和KL勾配流
• Authors: Pierre Glaser, Michael Arbel, Arthur Gretton
• Abstract要約: 移動音源と固定目標分布との間のクルバック・リーブラー分岐に対する緩和近似の勾配流について検討した。 この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
• 参考スコア（独自算出の注目度）: 27.165565512841656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the gradient flow for a relaxed approximation to the Kullback-Leibler (KL) divergence between a moving source and a fixed target distribution. This approximation, termed the KALE (KL approximate lower-bound estimator), solves a regularized version of the Fenchel dual problem defining the KL over a restricted class of functions. When using a Reproducing Kernel Hilbert Space (RKHS) to define the function class, we show that the KALE continuously interpolates between the KL and the Maximum Mean Discrepancy (MMD). Like the MMD and other Integral Probability Metrics, the KALE remains well defined for mutually singular distributions. Nonetheless, the KALE inherits from the limiting KL a greater sensitivity to mismatch in the support of the distributions, compared with the MMD. These two properties make the KALE gradient flow particularly well suited when the target distribution is supported on a low-dimensional manifold. Under an assumption of sufficient smoothness of the trajectories, we show the global convergence of the KALE flow. We propose a particle implementation of the flow given initial samples from the source and the target distribution, which we use to empirically confirm the KALE's properties.
• Abstract（参考訳）: 移動源と固定目標分布との間のクルバック・ライバー(kl)の発散に対する緩和近似の勾配流れについて検討した。 この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。 再生カーネルヒルベルト空間(RKHS)を用いて関数クラスを定義すると、KALEがKLと最大平均離散性(MMD)を連続的に補間することを示す。 MMDや他の積分確率計量と同様に、KALEは互いに特異な分布に対してよく定義される。 それでも、KALEはKLの制限から、MDDと比較して分布の支持におけるミスマッチに対する感度が向上する。 これらの2つの性質により、ターゲット分布が低次元多様体上で支持されているとき、ケール勾配流は特に適している。 軌道の十分な滑らかさの仮定の下では、ケール流の大域的収束を示す。 本稿では,ソースから得られた初期サンプルとターゲット分布の粒子的実装を提案し,KALEの特性を実証的に確認する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Theoretical guarantees in KL for Diffusion Flow Matching [9.618473763561418]
  Flow Matching (FM) は、ターゲット分布 $nustar$ を補助分布 $mu$ で有限時間にブリッジすることを目的としている。 ブラウン運動に付随する条件分布を橋渡しする拡散フローマッチング(DFM)モデルの非漸近保証を得る。
  論文  参考訳（メタデータ） (2024-09-12T15:19:00Z)
• Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence [7.273481485032721]
  Bach [2022] が導入したカーネル共分散作用素によるクルバック・リーブラ発散の統計的および幾何学的性質について検討する。 密度比を含む古典的なクルバック・リーブラー(KL)の発散とは異なり、KKLは再現可能なカーネルヒルベルト空間(RKHS)における共分散作用素(埋め込み)による確率分布を比較する。 この斬新な発散は、確率分布と最大平均誤差のようなカーネル埋め込みメトリクスの間の標準のクルバック・リーバーと平行だが異なる側面を共有する。
  論文  参考訳（メタデータ） (2024-08-29T14:01:30Z)
• Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective [18.331374727331077]
  拡散過程のリプシッツ連続性と第二運動量特性の理論的理解を提供する。 この結果から, 共通データ分布下での拡散過程のダイナミクスについて, より深い理論的知見が得られた。
  論文  参考訳（メタデータ） (2024-05-26T03:32:27Z)
• Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution [10.067421338825545]
  DAIS は初期分布と目標分布の対称性を持つ Kullback-Leibler の分散を最小化することを示す。 DAISは、その初期分布が難解なターゲット分布に適合するパラメトリックであるため、変分推論(VI)の形式と見なすことができる。
  論文  参考訳（メタデータ） (2024-05-23T17:55:09Z)
• Soft-constrained Schrodinger Bridge: a Stochastic Control Approach [4.922305511803267]
  シュル「オーディンガー橋」は、最適に制御された拡散過程を見つけることを目標とする連続時間制御問題と見なすことができる。 本稿では,両分布間のKulback-Leiblerの相違を罰し,端末分布を目標と異なるものにすることで,この問題を一般化することを提案する。 1つの応用は、堅牢な生成拡散モデルの開発である。
  論文  参考訳（メタデータ） (2024-03-04T04:10:24Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Federated Functional Gradient Boosting [75.06942944563572]
  フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
  論文  参考訳（メタデータ） (2021-03-11T21:49:19Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。