論文の概要: Spectral bounds of the $\varepsilon$-entropy of kernel classes
- arxiv url: http://arxiv.org/abs/2204.04512v1
- Date: Sat, 9 Apr 2022 16:45:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-04-12 15:59:54.846177
- Title: Spectral bounds of the $\varepsilon$-entropy of kernel classes
- Title(参考訳): カーネルクラスの$\varepsilon$-エントロピーのスペクトル境界
- Authors: Rustem Takhanov
- Abstract要約: 我々は、メルサー核の$K$によって誘導される再生カーネル空間における単位球の$varepsilon$-エントロピー上の新しい境界を開発する。
提案手法では,RKHSにおける単位球の楕円形構造と,ユークリッド空間における楕円形の個数をカバーした以前の研究を利用する。
- 参考スコア(独自算出の注目度): 6.028247638616059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop new upper and lower bounds on the $\varepsilon$-entropy of a unit
ball in a reproducing kernel Hilbert space induced by some Mercer kernel $K$.
Our bounds are based on the behaviour of eigenvalues of a corresponding
integral operator. In our approach we exploit an ellipsoidal structure of a
unit ball in RKHS and a previous work on covering numbers of an ellipsoid in
the euclidean space obtained by Dumer, Pinsker and Prelov.
We present a number of applications of our main bound, such as its tightness
for a practically important case of the Gaussian kernel. Further, we develop a
series of lower bounds on the $\varepsilon$-entropy that can be established
from a connection between covering numbers of a ball in RKHS and a quantization
of a Gaussian Random Field that corresponds to the kernel $K$ by the
Kosambi-Karhunen-Lo\`eve transform.
- Abstract(参考訳): 我々は、マーサーカーネル $k$ によって誘導される再生核ヒルベルト空間における単位球の $\varepsilon$-エントロピー上の新しい上限と下限を開発する。
我々の境界は対応する積分作用素の固有値の振る舞いに基づいている。
提案手法では, RKHS における単位球の楕円形構造と, Dumer, Pinsker, Prelov により得られたユークリッド空間における楕円形の数被覆に関する以前の研究を利用する。
我々は、ガウス核の実際上重要な場合に対する厳密性など、我々の主境界の多くの応用を示す。
さらに、RKHS内の球の被覆数と、コサンビー・カルフネン・ローブ変換によるカーネル$K$に対応するガウスランダム場の量子化との接続から確立できる$\varepsilon$-エントロピー上の下界のシリーズを開発する。
関連論文リスト
- Sparsifying Suprema of Gaussian Processes [6.638504164134713]
我々は、$O_varepsilon(1)$-size subset $S subseteq T$ と、S$ における実値 $c_s_s の集合が存在することを示す。
また、中心となるガウス過程の過度にスペーシフィケーション結果を用いて、有界な幾何学的幅の凸集合に対するスペーシフィケーション補題を与える。
論文 参考訳(メタデータ) (2024-11-22T01:43:58Z) - The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳(メタデータ) (2024-10-26T06:21:42Z) - Gaussian kernel expansion with basis functions uniformly bounded in $\mathcal{L}_{\infty}$ [0.6138671548064355]
カーネル拡張は、機械学習にかなりの関心を持つトピックである。
この論文における最近の研究は、$mathcalL_infty$で一様有界基底関数を仮定することによって、これらの結果のいくつかを導いた。
我々の主な成果は、任意の$p>1$に対して$ell_p$の重みを持つガウス核展開の$mathbbR2$の構築である。
論文 参考訳(メタデータ) (2024-10-02T10:10:30Z) - KPZ scaling from the Krylov space [83.88591755871734]
近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。
これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
論文 参考訳(メタデータ) (2024-06-04T20:57:59Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Dimension Independent Disentanglers from Unentanglement and Applications [55.86191108738564]
両部非絡み込み入力から次元独立なk-パーティイトディジアンタングル(類似)チャネルを構築する。
NEXP を捉えるためには、$| psi rangle = sqrta | sqrt1-a | psi_+ rangle という形の非負の振幅を持つのに十分であることを示す。
論文 参考訳(メタデータ) (2024-02-23T12:22:03Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Kernel $\epsilon$-Greedy for Contextual Bandits [4.1347433277076036]
我々は文脈的盗賊に対する$epsilon$-greedy戦略のカーネル版を考える。
報奨関数に対するオンライン重み付きカーネルリッジ回帰推定器を提案する。
論文 参考訳(メタデータ) (2023-06-29T22:48:34Z) - For Kernel Range Spaces a Constant Number of Queries Are Sufficient [13.200502573462712]
カーネル範囲空間は、X の部分集合 mathbbRd$ の集合と、固定されたカーネルによる全てのクエリの空間に関する。
Anvarepsilon$-cover は点 $Q の部分集合 mathbbRd$ for any $p in mathbbRd$ that $frac1n |R_p - R_q|leq varepsilon$ for some $q in Q$ の部分集合である。
論文 参考訳(メタデータ) (2023-06-28T19:19:33Z) - Gaussian random field approximation via Stein's method with applications to wide random neural networks [20.554836643156726]
我々は、よりスムーズな計量のバウンドを$W_$距離に転送できる新しいガウススムージング手法を開発した。
広帯域乱数ニューラルネットワークのガウス確率場近似の第一境界を求める。
我々の境界は、ネットワークの幅とランダムな重みのモーメントで明示的に表現される。
論文 参考訳(メタデータ) (2023-06-28T15:35:10Z) - A Nearly Tight Bound for Fitting an Ellipsoid to Gaussian Random Points [50.90125395570797]
このことは対数的因子の中でのciteSaundersonCPW12 の予想をほぼ成立させる。
後者の予想は、機械学習とある種の統計上の問題に対する2乗下界との結びつきから、過去10年間で大きな注目を集めている。
論文 参考訳(メタデータ) (2022-12-21T17:48:01Z) - Sobolev Spaces, Kernels and Discrepancies over Hyperspheres [4.521119623956821]
この研究は超球面文脈におけるカーネルメソッドの理論基盤を提供する。
超球面上で定義されたカーネルに付随するネイティブ空間(再生カーネルヒルベルト空間)とソボレフ空間を特徴付ける。
その結果,カーネルキュウチュアの直接的影響,最悪のケースエラーの収束率の決定,およびキュウチュアアルゴリズムの適用性の向上が得られた。
論文 参考訳(メタデータ) (2022-11-16T20:31:38Z) - Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
パーコレーション遷移は無限クラスターの出現によって定義される。
ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。
コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
論文 参考訳(メタデータ) (2022-10-15T13:53:21Z) - On the speed of uniform convergence in Mercer's theorem [6.028247638616059]
コンパクト集合上の連続正定核 $K(mathbf x, mathbf y)$ は $sum_i=1infty lambda_iphi_i(mathbf x)phi_i(mathbf y)$ と表すことができ、$(lambda_i,phi_i)$ は対応する積分作用素の固有値-固有ベクトル対である。
固有値の減衰速度からこの収束速度を推定し、300万ドルで証明する。
論文 参考訳(メタデータ) (2022-05-01T15:07:57Z) - On the Self-Penalization Phenomenon in Feature Selection [69.16452769334367]
カーネル群に基づく暗黙の空間性誘導機構について述べる。
アプリケーションとしては、この疎結合誘導機構を使用して、特徴選択に一貫性のあるアルゴリズムを構築します。
論文 参考訳(メタデータ) (2021-10-12T09:36:41Z) - Kernel Thinning [26.25415159542831]
カーネルの薄型化は、サンプリングや標準的な薄型化よりも効率的に$mathbbP$を圧縮するための新しい手順である。
我々は、ガウス、マタン、およびB-スプライン核に対する明示的な非漸近的な最大誤差境界を導出する。
論文 参考訳(メタデータ) (2021-05-12T17:56:42Z) - Linear Bandits on Uniformly Convex Sets [88.3673525964507]
線形バンディットアルゴリズムはコンパクト凸作用集合上の $tildemathcalo(nsqrtt)$ pseudo-regret 境界を与える。
2種類の構造的仮定は、より良い擬似回帰境界をもたらす。
論文 参考訳(メタデータ) (2021-03-10T07:33:03Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳(メタデータ) (2021-02-15T13:24:41Z) - Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS [10.578438886506076]
より小さいパワー(カーネルのスムーズさを損なう)の指数的パワーカーネルは、より大きなRKHSにつながることを証明した。
また、ディープニューラルネットワークカーネルとLaplaceカーネルの再生カーネルヒルベルト空間(RKHS)が、同じ関数セットを含むことを証明した。
論文 参考訳(メタデータ) (2020-09-22T16:58:26Z) - Optimal Coreset for Gaussian Kernel Density Estimation [0.8376091455761259]
点集合 $Psubset mathbbRd$ が与えられたとき、$P$ の核密度推定は [ overlinemathcalG_P(x) = frac1left|Pright|sum_pin Pe-leftlVert x-p rightrVert2 ] for any $xinmathbbRd$ と定義される。
我々は、小さなサブセット$Q$ of $P を構築する方法を研究する。
論文 参考訳(メタデータ) (2020-07-15T22:58:50Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2020-04-12T12:23:46Z) - On the Complexity of Minimizing Convex Finite Sums Without Using the
Indices of the Individual Functions [62.01594253618911]
有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。
同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
論文 参考訳(メタデータ) (2020-02-09T03:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。