論文の概要: Smoothed Distance Kernels for MMDs and Applications in Wasserstein Gradient Flows
- arxiv url: http://arxiv.org/abs/2504.07820v1
- Date: Thu, 10 Apr 2025 14:57:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:22:18.922019
- Title: Smoothed Distance Kernels for MMDs and Applications in Wasserstein Gradient Flows
- Title(参考訳): MMD用スムース距離カーネルとワッサーシュタイン勾配流れへの応用
- Authors: Nicolaj Rux, Michael Quellmalz, Gabriele Steidl,
- Abstract要約: K(x,y) := - |x-y|$ は統計学における最大平均誤差 (MMD) の定義に用いられた。
本稿では, 負距離カーネルの次数 1 の条件正定値として好適な特性を保った新しいカーネルを提案する。
- 参考スコア(独自算出の注目度): 1.3654846342364308
- License:
- Abstract: Negative distance kernels $K(x,y) := - \|x-y\|$ were used in the definition of maximum mean discrepancies (MMDs) in statistics and lead to favorable numerical results in various applications. In particular, so-called slicing techniques for handling high-dimensional kernel summations profit from the simple parameter-free structure of the distance kernel. However, due to its non-smoothness in $x=y$, most of the classical theoretical results, e.g. on Wasserstein gradient flows of the corresponding MMD functional do not longer hold true. In this paper, we propose a new kernel which keeps the favorable properties of the negative distance kernel as being conditionally positive definite of order one with a nearly linear increase towards infinity and a simple slicing structure, but is Lipschitz differentiable now. Our construction is based on a simple 1D smoothing procedure of the absolute value function followed by a Riemann-Liouville fractional integral transform. Numerical results demonstrate that the new kernel performs similarly well as the negative distance kernel in gradient descent methods, but now with theoretical guarantees.
- Abstract(参考訳): 負距離カーネル $K(x,y) := - \|x-y\|$ は統計学における最大平均誤差 (MMD) の定義に使われ、様々な応用において好意的な数値結果をもたらした。
特に、高次元カーネル和を扱ういわゆるスライシング技術は、距離カーネルの単純なパラメータフリー構造から利益を得る。
しかし、$x=y$の非滑らか性のため、古典的な理論的な結果のほとんどは、対応するMDD汎函数のワッサーシュタイン勾配フロー上の eg はもはや成り立たない。
本稿では, 負距離核の条件的正定値として, ほぼ線形に無限大への増加と単純なスライシング構造を保ちながら, 現在ではリプシッツ微分可能である新しいカーネルを提案する。
我々の構成は、絶対値関数の単純な1次元滑らか化手順に基づいており、リーマン・リウヴィル分数積分変換が続く。
数値計算の結果,新しいカーネルは勾配降下法では負距離のカーネルとよく似ているが,現在では理論的に保証されている。
関連論文リスト
- On the Approximation of Kernel functions [0.0]
論文はカーネル自体の近似に対処する。
単位立方体上のヒルベルト・ガウス核に対して、この論文は関連する固有関数の上界を確立する。
この改良により、Nystr"om法のような低階近似法が確かめられる。
論文 参考訳(メタデータ) (2024-03-11T13:50:07Z) - Fast Kernel Summation in High Dimensions via Slicing and Fourier Transforms [0.0]
カーネルベースの手法は機械学習で多用されている。
彼らは考慮されたデータポイントの$O(N2)$複雑さに悩まされる。
近似法を提案し、この複雑さを$O(N)$に削減する。
論文 参考訳(メタデータ) (2024-01-16T10:31:27Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - On The Relative Error of Random Fourier Features for Preserving Kernel
Distance [7.383448514243228]
有名なラプラシアカーネルを含むかなりの範囲のカーネルに対して、RFFは低次元を用いて小さな相対誤差でカーネル距離を近似することはできないことを示す。
一般シフト不変カーネルに対するデータ公開次元還元に向けての第一歩を踏み出し、ラプラシアンカーネルに対して同様の$mathrmpoly(epsilon-1 log n)$ dimension を得る。
論文 参考訳(メタデータ) (2022-10-01T10:35:12Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳(メタデータ) (2021-02-15T13:24:41Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳(メタデータ) (2020-12-22T12:59:30Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - RFN: A Random-Feature Based Newton Method for Empirical Risk
Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。
本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。
局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-12T01:14:44Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳(メタデータ) (2020-02-10T23:23:04Z) - Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS
Algorithm [8.571896191090744]
MLRパラメータの平均二乗誤差を最小化するという意味では,Biweightカーネルが最適であることを示す。
第2に、アルゴリズムを反復的に再重み付けした最小二乗アルゴリズム(IRLS)が収束することを保証したカーネルクラスを提供する。
論文 参考訳(メタデータ) (2020-01-30T03:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。