論文の概要: Non-asymptotic spectral bounds on the $\varepsilon$-entropy of kernel classes
- arxiv url: http://arxiv.org/abs/2204.04512v2
- Date: Mon, 30 Dec 2024 17:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 22:07:02.081194
- Title: Non-asymptotic spectral bounds on the $\varepsilon$-entropy of kernel classes
- Title(参考訳): 核クラスの$\varepsilon$-エントロピー上の非漸近スペクトル境界
- Authors: Rustem Takhanov,
- Abstract要約: この話題は、カーネルベースの手法の現代的な統計理論において重要な方向である。
我々は、我々の境界の多くの結果について議論し、それらが一般のカーネルのバウンドよりもかなり厳密であることを示す。
- 参考スコア(独自算出の注目度): 4.178980693837599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Let $K: \boldsymbol{\Omega}\times \boldsymbol{\Omega}$ be a continuous Mercer kernel defined on a compact subset of ${\mathbb R}^n$ and $\mathcal{H}_K$ be the reproducing kernel Hilbert space (RKHS) associated with $K$. Given a finite measure $\nu$ on $\boldsymbol{\Omega}$, we investigate upper and lower bounds on the $\varepsilon$-entropy of the unit ball of $\mathcal{H}_K$ in the space $L_p(\nu)$. This topic is an important direction in the modern statistical theory of kernel-based methods. We prove sharp upper and lower bounds for $p\in [1,+\infty]$. For $p\in [1,2]$, the upper bounds are determined solely by the eigenvalue behaviour of the corresponding integral operator $\phi\to \int_{\boldsymbol{\Omega}} K(\cdot,{\mathbf y})\phi({\mathbf y})d\nu({\mathbf y})$. In constrast, for $p>2$, the bounds additionally depend on the convergence rate of the truncated Mercer series to the kernel $K$ in the $L_p(\nu)$-norm. We discuss a number of consequences of our bounds and show that they are substantially tighter than previous bounds for general kernels. Furthermore, for specific cases, such as zonal kernels and the Gaussian kernel on a box, our bounds are asymptotically tight as $\varepsilon\to +0$.
- Abstract(参考訳): K: \boldsymbol{\Omega}\times \boldsymbol{\Omega}$ を ${\mathbb R}^n$ と $\mathcal{H}_K$ のコンパクト部分集合上で定義される連続メルサー核を、$K$ に付随する再生カーネルヒルベルト空間 (RKHS) とする。
有限測度 $\nu$ on $\boldsymbol{\Omega}$ が与えられたとき、空間 $L_p(\nu)$ における$\mathcal{H}_K$ の単位球の$\varepsilon$-エントロピー上の上下境界について調べる。
この話題は、カーネルベースの手法の現代的な統計理論において重要な方向である。
p\in [1,+\infty]$に対して、シャープな上界と下界を証明します。
p\in [1,2]$ の場合、上界は対応する積分作用素 $\phi\to \int_{\boldsymbol {\Omega}} K(\cdot,{\mathbf y})\phi({\mathbf y})d\nu({\mathbf y})$ の固有値の振る舞いによってのみ決定される。
コンストラストにおいて、$p>2$の場合、境界は、さらに、$L_p(\nu)$-norm のカーネル $K$ への truncated Mercer 級数の収束率に依存する。
我々は、我々の境界の多くの結果について議論し、それらが一般的なカーネルの以前の境界よりもかなり厳密であることを示す。
さらに、ボックス上の zonal kernel や Gaussian kernel のような特定のケースでは、我々の境界は $\varepsilon\to +0$ として漸近的に厳密である。
関連論文リスト
- Sparsifying Suprema of Gaussian Processes [6.638504164134713]
我々は、$O_varepsilon(1)$-size subset $S subseteq T$ と、S$ における実値 $c_s_s の集合が存在することを示す。
また、中心となるガウス過程の過度にスペーシフィケーション結果を用いて、有界な幾何学的幅の凸集合に対するスペーシフィケーション補題を与える。
論文 参考訳(メタデータ) (2024-11-22T01:43:58Z) - The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳(メタデータ) (2024-10-26T06:21:42Z) - Gaussian kernel expansion with basis functions uniformly bounded in $\mathcal{L}_{\infty}$ [0.6138671548064355]
カーネル拡張は、機械学習にかなりの関心を持つトピックである。
この論文における最近の研究は、$mathcalL_infty$で一様有界基底関数を仮定することによって、これらの結果のいくつかを導いた。
我々の主な成果は、任意の$p>1$に対して$ell_p$の重みを持つガウス核展開の$mathbbR2$の構築である。
論文 参考訳(メタデータ) (2024-10-02T10:10:30Z) - KPZ scaling from the Krylov space [83.88591755871734]
近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。
これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
論文 参考訳(メタデータ) (2024-06-04T20:57:59Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Dimension Independent Disentanglers from Unentanglement and Applications [55.86191108738564]
両部非絡み込み入力から次元独立なk-パーティイトディジアンタングル(類似)チャネルを構築する。
NEXP を捉えるためには、$| psi rangle = sqrta | sqrt1-a | psi_+ rangle という形の非負の振幅を持つのに十分であることを示す。
論文 参考訳(メタデータ) (2024-02-23T12:22:03Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Kernel $\epsilon$-Greedy for Contextual Bandits [4.1347433277076036]
我々は文脈的盗賊に対する$epsilon$-greedy戦略のカーネル版を考える。
報奨関数に対するオンライン重み付きカーネルリッジ回帰推定器を提案する。
論文 参考訳(メタデータ) (2023-06-29T22:48:34Z) - For Kernel Range Spaces a Constant Number of Queries Are Sufficient [13.200502573462712]
カーネル範囲空間は、X の部分集合 mathbbRd$ の集合と、固定されたカーネルによる全てのクエリの空間に関する。
Anvarepsilon$-cover は点 $Q の部分集合 mathbbRd$ for any $p in mathbbRd$ that $frac1n |R_p - R_q|leq varepsilon$ for some $q in Q$ の部分集合である。
論文 参考訳(メタデータ) (2023-06-28T19:19:33Z) - Gaussian random field approximation via Stein's method with applications to wide random neural networks [20.554836643156726]
我々は、よりスムーズな計量のバウンドを$W_$距離に転送できる新しいガウススムージング手法を開発した。
広帯域乱数ニューラルネットワークのガウス確率場近似の第一境界を求める。
我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
論文 参考訳(メタデータ) (2023-06-28T15:35:10Z) - A Nearly Tight Bound for Fitting an Ellipsoid to Gaussian Random Points [50.90125395570797]
このことは対数的因子の中でのciteSaundersonCPW12 の予想をほぼ成立させる。
後者の予想は、機械学習とある種の統計上の問題に対する2乗下界との結びつきから、過去10年間で大きな注目を集めている。
論文 参考訳(メタデータ) (2022-12-21T17:48:01Z) - Sobolev Spaces, Kernels and Discrepancies over Hyperspheres [4.521119623956821]
この研究は超球面文脈におけるカーネルメソッドの理論基盤を提供する。
超球面上で定義されたカーネルに付随するネイティブ空間(再生カーネルヒルベルト空間)とソボレフ空間を特徴付ける。
その結果,カーネルキュウチュアの直接的影響,最悪のケースエラーの収束率の決定,およびキュウチュアアルゴリズムの適用性の向上が得られた。
論文 参考訳(メタデータ) (2022-11-16T20:31:38Z) - Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
パーコレーション遷移は無限クラスターの出現によって定義される。
ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。
コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
論文 参考訳(メタデータ) (2022-10-15T13:53:21Z) - On the speed of uniform convergence in Mercer's theorem [6.028247638616059]
コンパクト集合上の連続正定核 $K(mathbf x, mathbf y)$ は $sum_i=1infty lambda_iphi_i(mathbf x)phi_i(mathbf y)$ と表すことができ、$(lambda_i,phi_i)$ は対応する積分作用素の固有値-固有ベクトル対である。
固有値の減衰速度からこの収束速度を推定し、300万ドルで証明する。
論文 参考訳(メタデータ) (2022-05-01T15:07:57Z) - On the Self-Penalization Phenomenon in Feature Selection [69.16452769334367]
カーネル群に基づく暗黙の空間性誘導機構について述べる。
アプリケーションとしては、この疎結合誘導機構を使用して、特徴選択に一貫性のあるアルゴリズムを構築します。
論文 参考訳(メタデータ) (2021-10-12T09:36:41Z) - Kernel Thinning [26.25415159542831]
カーネルの薄型化は、サンプリングや標準的な薄型化よりも効率的に$mathbbP$を圧縮するための新しい手順である。
我々は、ガウス、マタン、およびB-スプライン核に対する明示的な非漸近的な最大誤差境界を導出する。
論文 参考訳(メタデータ) (2021-05-12T17:56:42Z) - Linear Bandits on Uniformly Convex Sets [88.3673525964507]
線形バンディットアルゴリズムはコンパクト凸作用集合上の $tildemathcalo(nsqrtt)$ pseudo-regret 境界を与える。
2種類の構造的仮定は、より良い擬似回帰境界をもたらす。
論文 参考訳(メタデータ) (2021-03-10T07:33:03Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳(メタデータ) (2021-02-15T13:24:41Z) - Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS [10.578438886506076]
より小さいパワー(カーネルのスムーズさを損なう)の指数的パワーカーネルは、より大きなRKHSにつながることを証明した。
また、ディープニューラルネットワークカーネルとLaplaceカーネルの再生カーネルヒルベルト空間(RKHS)が、同じ関数セットを含むことを証明した。
論文 参考訳(メタデータ) (2020-09-22T16:58:26Z) - Optimal Coreset for Gaussian Kernel Density Estimation [0.8376091455761259]
点集合 $Psubset mathbbRd$ が与えられたとき、$P$ の核密度推定は [ overlinemathcalG_P(x) = frac1left|Pright|sum_pin Pe-leftlVert x-p rightrVert2 ] for any $xinmathbbRd$ と定義される。
我々は、小さなサブセット$Q$ of $P を構築する方法を研究する。
論文 参考訳(メタデータ) (2020-07-15T22:58:50Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2020-04-12T12:23:46Z) - On the Complexity of Minimizing Convex Finite Sums Without Using the
Indices of the Individual Functions [62.01594253618911]
有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。
同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
論文 参考訳(メタデータ) (2020-02-09T03:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。