論文の概要: Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
- arxiv url: http://arxiv.org/abs/2408.16543v1
- Date: Thu, 29 Aug 2024 14:01:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 13:33:01.509606
- Title: Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
- Title（参考訳）: 正規化カーネル・コールバック・リーブラー発散の統計的および幾何学的性質
- Authors: Clémentine Chazal, Anna Korba, Francis Bach,
- Abstract要約: Bach [2022] が導入したカーネル共分散作用素によるクルバック・リーブラ発散の統計的および幾何学的性質について検討する。
密度比を含む古典的なクルバック・リーブラー(KL)の発散とは異なり、KKLは再現可能なカーネルヒルベルト空間(RKHS)における共分散作用素(埋め込み)による確率分布を比較する。
この斬新な発散は、確率分布と最大平均誤差のようなカーネル埋め込みメトリクスの間の標準のクルバック・リーバーと平行だが異なる側面を共有する。
- 参考スコア（独自算出の注目度）: 7.273481485032721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the statistical and geometrical properties of the Kullback-Leibler divergence with kernel covariance operators (KKL) introduced by Bach [2022]. Unlike the classical Kullback-Leibler (KL) divergence that involves density ratios, the KKL compares probability distributions through covariance operators (embeddings) in a reproducible kernel Hilbert space (RKHS), and compute the Kullback-Leibler quantum divergence. This novel divergence hence shares parallel but different aspects with both the standard Kullback-Leibler between probability distributions and kernel embeddings metrics such as the maximum mean discrepancy. A limitation faced with the original KKL divergence is its inability to be defined for distributions with disjoint supports. To solve this problem, we propose in this paper a regularised variant that guarantees that the divergence is well defined for all distributions. We derive bounds that quantify the deviation of the regularised KKL to the original one, as well as finite-sample bounds. In addition, we provide a closed-form expression for the regularised KKL, specifically applicable when the distributions consist of finite sets of points, which makes it implementable. Furthermore, we derive a Wasserstein gradient descent scheme of the KKL divergence in the case of discrete distributions, and study empirically its properties to transport a set of points to a target distribution.
- Abstract（参考訳）: 本稿では,Bach [2022] が導入したカーネル共分散演算子 (KKL) を用いたKullback-Leibler分散の統計的および幾何学的性質について検討する。
密度比を含む古典的なクルバック・リーブラー(KL)の発散とは異なり、KKLは再現可能な核ヒルベルト空間(RKHS)における共分散作用素(埋め込み)による確率分布を比較し、クルバック・リーブラー量子発散を計算する。
この斬新な発散は、確率分布と最大平均誤差のようなカーネル埋め込みメトリクスの間の標準クルバック・リーバーと平行だが異なる側面を共有する。
元の KKL の発散に直面する制限は、不連結な支持を持つ分布に対して定義できないことである。
この問題を解決するため,本論文では,分散がすべての分布に対して適切に定義されていることを保証する正規化変種を提案する。
我々は、正規化された KKL の原点への偏差と有限サンプル境界を定量化する境界を導出する。
さらに、正規化された KKL に対して閉形式表現を提供し、その分布が有限個の点からなる場合に特に適用でき、実装可能である。
さらに、離散分布の場合のKKL分散のワッサーシュタイン勾配降下スキームを導出し、その性質を実証的に研究し、点の集合を対象分布へ輸送する。
関連論文リスト
- Convergence of Continuous Normalizing Flows for Learning Probability Distributions [10.381321024264484]
連続正規化フロー (Continuous normalizing flow, CNFs) は確率分布を学習するための生成法である。
有限ランダムサンプルからの学習確率分布における線形正則性を持つCNFの理論的性質について検討する。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-31T03:39:04Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳（メタデータ） (2022-09-26T16:41:16Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2022-04-20T21:25:21Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint
Support [27.165565512841656]
移動音源と固定目標分布との間のクルバック・リーブラー分岐に対する緩和近似の勾配流について検討した。
この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
論文 参考訳（メタデータ） (2021-06-16T16:37:43Z) - $\alpha$-Geodesical Skew Divergence [5.3556221126231085]
非対称スキュー発散は、パラメータ$lambda$によって決定される程度に、他の分布と混合することによって、分布の1つを滑らかにする。
このような発散は、KL発散の近似であり、ターゲット分布がソース分布に関して絶対連続である必要はない。
論文 参考訳（メタデータ） (2021-03-31T13:27:58Z) - Independent Gaussian Distributions Minimize the Kullback-Leibler (KL)
Divergence from Independent Gaussian Distributions [23.249999313567624]
このノートは、KL(Kullback-Leibler)の発散の性質に関するものである。
このメモの主な目的は、この財産を完全にまたは部分的に利用する必要がある書類の参照である。
論文 参考訳（メタデータ） (2020-11-04T22:05:45Z) - Kullback-Leibler divergence between quantum distributions, and its
upper-bound [1.2183405753834562]
この研究は、量子分布(QD)と呼ばれる確率分布のクラスに対して、KL(Kullback-Leibler)の発散が到達できる上限値を示す。
ここでは、エントロピーの発散に対する上界の取り出しは、比較分布が同じ量子値上の量子分布であるという条件の下で可能であることが示される。
論文 参考訳（メタデータ） (2020-08-13T14:42:13Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。