論文の概要: How many moments does MMD compare?
- arxiv url: http://arxiv.org/abs/2106.14277v1
- Date: Sun, 27 Jun 2021 16:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 13:57:35.639623
- Title: How many moments does MMD compare?
- Title（参考訳）: MMDはいくつ比較できますか。
- Authors: Rustem Takhanov
- Abstract要約: MathcalF-1$は、$K$に関連付けられた積分作用素と同じ方法で滑らかな関数に作用する。
擬微分作用素によって定義されるカーネルは、コンパクト集合上の任意の連続マーサー核を均一に近似することができることを示す。
- 参考スコア（独自算出の注目度）: 7.919213739992465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new way of study of Mercer kernels, by corresponding to a
special kernel $K$ a pseudo-differential operator $p({\mathbf x}, D)$ such that
$\mathcal{F} p({\mathbf x}, D)^\dag p({\mathbf x}, D) \mathcal{F}^{-1}$ acts on
smooth functions in the same way as an integral operator associated with $K$
(where $\mathcal{F}$ is the Fourier transform). We show that kernels defined by
pseudo-differential operators are able to approximate uniformly any continuous
Mercer kernel on a compact set.
The symbol $p({\mathbf x}, {\mathbf y})$ encapsulates a lot of useful
information about the structure of the Maximum Mean Discrepancy distance
defined by the kernel $K$. We approximate $p({\mathbf x}, {\mathbf y})$ with
the sum of the first $r$ terms of the Singular Value Decomposition of $p$,
denoted by $p_r({\mathbf x}, {\mathbf y})$. If ordered singular values of the
integral operator associated with $p({\mathbf x}, {\mathbf y})$ die down
rapidly, the MMD distance defined by the new symbol $p_r$ differs from the
initial one only slightly. Moreover, the new MMD distance can be interpreted as
an aggregated result of comparing $r$ local moments of two probability
distributions.
The latter results holds under the condition that right singular vectors of
the integral operator associated with $p$ are uniformly bounded. But even if
this is not satisfied we can still hold that the Hilbert-Schmidt distance
between $p$ and $p_r$ vanishes. Thus, we report an interesting phenomenon: the
MMD distance measures the difference of two probability distributions with
respect to a certain number of local moments, $r^\ast$, and this number
$r^\ast$ depends on the speed with which singular values of $p$ die down.
- Abstract（参考訳）: 我々は、仮想微分作用素 $p({\mathbf x}, d)$ で $\mathcal{f} p({\mathbf x}, d)^\dag p({\mathbf x}, d) \mathcal{f}^{-1}$ が $k$($\mathcal{f}$ がフーリエ変換である)に付随する積分作用素と同様に滑らかな関数に作用する特別カーネル $k$ に対応することにより、マーサー核の新しい研究方法を提案する。
擬微分作用素によって定義される核は、コンパクト集合上の任意の連続マーサー核を一様近似することができる。
記号 $p({\mathbf x}, {\mathbf y})$ は、カーネル $k$ によって定義される最大平均不一致距離の構造に関する多くの有用な情報をカプセル化する。
我々は$p({\mathbf x}, {\mathbf y})$を、$p$の特異値分解の最初の$r$項の和で近似し、$p_r({\mathbf x}, {\mathbf y})$と表記する。
もし$p({\mathbf x}, {\mathbf y})$ に付随する積分作用素の順序付き特異値が急速に減少すると、新しい記号 $p_r$ によって定義される mmd 距離は初期値とわずかに異なる。
さらに、新しいmmd距離は、2つの確率分布のr$局所モーメントを比較する結果と解釈できる。
後者の結果は、$p$に付随する積分作用素の右特異ベクトルが一様有界であるという条件で成り立つ。
しかし、それが満たされていなくても、ヒルベルト=シュミット距離が$p$から$p_r$の間は消えると考えることができる。
したがって、mmd距離は、一定数の局所モーメントに対して2つの確率分布の差(r^\ast$)を測定し、この数$r^\ast$は、p$の特異値が減る速度に依存するという興味深い現象を報告している。
関連論文リスト
- Near-Optimal and Tractable Estimation under Shift-Invariance [0.21756081703275998]
そのような信号のクラスは、非常にリッチである:$mathbbCn$ 上のすべての指数振動を含み、合計$s$ である。
このクラスの統計複雑性は、$(delta)$-confidence $ell$-ballの半径2乗最小マックス周波数によって測定されるが、$s$-sparse信号のクラス、すなわち$Oleft(slog(en) + log(delta-1)right) cdot log(en/s)とほぼ同じであることを示す。
論文 参考訳（メタデータ） (2024-11-05T18:11:23Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Strong uniform convergence of Laplacians of random geometric and
directed kNN graphs on compact manifolds [0.0]
この作用素の微分ラプラス・ベルトラミ作用素へのほぼ確実に一様収束は、$n$が無限大の傾向にあるときに研究する。
この研究は、過去15年間の既知の結果を拡張した。
論文 参考訳（メタデータ） (2022-12-20T14:31:06Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Kernel Thinning [26.25415159542831]
カーネルの薄型化は、サンプリングや標準的な薄型化よりも効率的に$mathbbP$を圧縮するための新しい手順である。
我々は、ガウス、マタン、およびB-スプライン核に対する明示的な非漸近的な最大誤差境界を導出する。
論文 参考訳（メタデータ） (2021-05-12T17:56:42Z) - From Smooth Wasserstein Distance to Dual Sobolev Norm: Empirical
Approximation and Statistical Applications [18.618590805279187]
我々は$mathsfW_p(sigma)$が$pth次スムーズな双対ソボレフ$mathsfd_p(sigma)$で制御されていることを示す。
我々は、すべての次元において$sqrtnmathsfd_p(sigma)(hatmu_n,mu)$の極限分布を導出する。
論文 参考訳（メタデータ） (2021-01-11T17:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。