論文の概要: Gaussian kernel expansion with basis functions uniformly bounded in $\mathcal{L}_{\infty}$
- arxiv url: http://arxiv.org/abs/2410.01394v1
- Date: Wed, 2 Oct 2024 10:10:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 21:19:25.824489
- Title: Gaussian kernel expansion with basis functions uniformly bounded in $\mathcal{L}_{\infty}$
- Title（参考訳）: $\mathcal{L}_{\infty}$で一様有界な基底関数を持つガウス核展開
- Authors: Mauro Bisiacco, Gianluigi Pillonetto,
- Abstract要約: カーネル拡張は、機械学習にかなりの関心を持つトピックである。
この論文における最近の研究は、$mathcalL_infty$で一様有界基底関数を仮定することによって、これらの結果のいくつかを導いた。
我々の主な成果は、任意の$p>1$に対して$ell_p$の重みを持つガウス核展開の$mathbbR2$の構築である。
- 参考スコア（独自算出の注目度）: 0.6138671548064355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel expansions are a topic of considerable interest in machine learning, also because of their relation to the so-called feature maps introduced in machine learning. Properties of the associated basis functions and weights (corresponding to eigenfunctions and eigenvalues in the Mercer setting) give insight into for example the structure of the associated reproducing kernel Hilbert space, the goodness of approximation schemes, the convergence rates and generalization properties of kernel machines. Recent work in the literature has derived some of these results by assuming uniformly bounded basis functions in $\mathcal{L}_\infty$. Motivated by this line of research, we investigate under this constraint all possible kernel expansions of the Gaussian kernel, one of the most widely used models in machine learning. Our main result is the construction on $\mathbb{R}^2$ of a Gaussian kernel expansion with weights in $\ell_p$ for any $p>1$. This result is optimal since we also prove that $p=1$ cannot be reached by the Gaussian kernel, nor by any of the other radial basis function kernels commonly used in the literature. A consequence for this kind of kernels is also the non-existence of Mercer expansions on $\mathbb{R}^2$, with respect to any finite measure, whose eigenfunctions all belong to a closed ball of $\mathcal{L}_\infty$.
- Abstract（参考訳）: カーネル拡張は、機械学習で導入されたいわゆるフィーチャーマップとの関係から、機械学習にかなりの関心を持つトピックである。
関連する基底関数とウェイトの性質(マーサー設定における固有関数と固有値に対応する)は、例えば、関連する再生カーネルヒルベルト空間の構造、近似スキームの良さ、カーネルマシンの収束率と一般化特性に関する洞察を与える。
この論文における最近の研究は、$\mathcal{L}_\infty$に一様有界基底関数を仮定することによって、これらの結果のいくつかを導いた。
この一連の研究により、機械学習において最も広く使われているモデルの一つであるガウス核の全ての可能なカーネル拡張について、この制約の下で検討する。
我々の主な結果は、任意の$p>1$に対して$\ell_p$の重みを持つガウス核展開の$\mathbb{R}^2$の構成である。
この結果が最適であるのは、$p=1$ がガウスカーネルや文献でよく用いられる他のラジアル基底関数カーネルによっても到達できないことを証明しているからである。
この種の核の帰結は、任意の有限測度に対して$\mathbb{R}^2$上のマーサー展開が存在しないことであり、その固有函数はすべて$\mathcal{L}_\infty$の閉球に属する。
関連論文リスト
- Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。
我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。
我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
論文 参考訳（メタデータ） (2024-08-02T07:29:49Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Orthonormal Expansions for Translation-Invariant Kernels [8.646318875448644]
我々は、(i) 半整数順序全体の実数直線上で、関連するラゲール函数(英語版)、(ii) 有理函数(英語版)のコーシー核(英語版)、(iii) エルミート函数のガウス核(英語版)の明示的な展開を導出する。
論文 参考訳（メタデータ） (2022-06-17T09:27:30Z) - An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings [21.727073594338297]
この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
論文 参考訳（メタデータ） (2022-05-12T18:50:21Z) - Spectral bounds of the $\varepsilon$-entropy of kernel classes [6.028247638616059]
我々は、メルサー核の$K$によって誘導される再生カーネル空間における単位球の$varepsilon$-エントロピー上の新しい境界を開発する。
提案手法では,RKHSにおける単位球の楕円形構造と,ユークリッド空間における楕円形の個数をカバーした以前の研究を利用する。
論文 参考訳（メタデータ） (2022-04-09T16:45:22Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Minimum complexity interpolation in random features models [16.823029377470366]
カーネルメソッドは 次元の呪いの影響を強く受けています
我々は,$mathcalF_p$ノルムを用いた学習が無限次元凸問題において抽出可能であることを示す。
双対における一様濃度に基づく証明手法を提案する。
論文 参考訳（メタデータ） (2021-03-30T00:00:02Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳（メタデータ） (2021-02-15T13:24:41Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。