論文の概要: The $L^\infty$ Learnability of Reproducing Kernel Hilbert Spaces

• arxiv url: http://arxiv.org/abs/2306.02833v1
• Date: Mon, 5 Jun 2023 12:29:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:11:48.474723
• Title: The $L^\infty$ Learnability of Reproducing Kernel Hilbert Spaces
• Title（参考訳）: L^\infty$のカーネルヒルベルト空間の学習性
• Authors: Hongrui Chen, Jihao Long, Lei Wu
• Abstract要約: カーネル空間の学習可能性(RKHS)を$Linfty$ノルムで解析する。 球面上のドット積核に対しては、ヒルベルトサンプルを用いて$Linfty$学習が達成できる条件を特定する。
• 参考スコア（独自算出の注目度）: 3.2931415075553576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we analyze the learnability of reproducing kernel Hilbert spaces (RKHS) under the $L^\infty$ norm, which is critical for understanding the performance of kernel methods and random feature models in safety- and security-critical applications. Specifically, we relate the $L^\infty$ learnability of a RKHS to the spectrum decay of the associate kernel and both lower bounds and upper bounds of the sample complexity are established. In particular, for dot-product kernels on the sphere, we identify conditions when the $L^\infty$ learning can be achieved with polynomial samples. Let $d$ denote the input dimension and assume the kernel spectrum roughly decays as $\lambda_k\sim k^{-1-\beta}$ with $\beta>0$. We prove that if $\beta$ is independent of the input dimension $d$, then functions in the RKHS can be learned efficiently under the $L^\infty$ norm, i.e., the sample complexity depends polynomially on $d$. In contrast, if $\beta=1/\mathrm{poly}(d)$, then the $L^\infty$ learning requires exponentially many samples.
• Abstract（参考訳）: 本研究では,安全およびセキュリティクリティカルなアプリケーションにおいて,カーネルメソッドとランダム特徴モデルの性能を理解する上で重要である$l^\infty$ノルムの下で,カーネルヒルベルト空間(rkhs)を再現することの学習可能性を分析する。 具体的には、rkhs の $l^\infty$ 学習可能性と対応する核のスペクトル減衰を関連付け、サンプル複雑性の下限と上限の両方が確立される。 特に、球面上のドット積核に対して、$L^\infty$学習が多項式サンプルで達成できる条件を特定する。 d$ が入力次元を示し、カーネルスペクトルが大まかに$\lambda_k\sim k^{-1-\beta}$ で$\beta>0$と仮定する。 我々は、$\beta$が入力次元$d$とは独立であれば、RKHSの関数は$L^\infty$ノルムの下で効率的に学習できることを証明している。 対照的に、$\beta=1/\mathrm{poly}(d)$ の場合、$L^\infty$ 学習は指数的に多くのサンプルを必要とする。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Toward $L_\infty$-recovery of Nonlinear Functions: A Polynomial Sample Complexity Bound for Gaussian Random Fields [35.76184529520015]
  多くの機械学習アプリケーションは、入力ドメイン全体、すなわち$L_infty$-errorで最小ケースエラーの関数を学習する必要がある。 既存の理論的研究の多くは、$L$-errorのような平均エラーの回復を保証するだけである。 本稿では, 地絡関数のランダム性を生かして, 不合理性以外のいくつかの初期ステップについて述べる。
  論文  参考訳（メタデータ） (2023-04-29T18:33:39Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
  我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。 規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
  論文  参考訳（メタデータ） (2021-05-31T16:10:49Z)
• Kernel Two-Sample Tests for Manifold Data [22.09364630430699]
  本稿では, 最大平均離散性(MMD)に関連するカーネルベースの2サンプルテスト統計を, 多様体データ設定で提示する。 本稿では, カーネル帯域幅, サンプル数, 多様体の内在的次元性に関して, テストレベルとパワーを特徴付ける。 この結果は,低次元多様体上あるいは近傍にデータを置く場合,カーネルの2サンプルテストは,ストローク・オブ・次元性を持たないことを示唆している。
  論文  参考訳（メタデータ） (2021-05-07T17:56:45Z)
• Minimum complexity interpolation in random features models [16.823029377470366]
  カーネルメソッドは 次元の呪いの影響を強く受けています 我々は,$mathcalF_p$ノルムを用いた学習が無限次元凸問題において抽出可能であることを示す。 双対における一様濃度に基づく証明手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:00:02Z)
• Small Covers for Near-Zero Sets of Polynomials and Learning Latent Variable Models [56.98280399449707]
  我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。 構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2020-12-14T18:14:08Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• Sample Efficient Reinforcement Learning via Low-Rank Matrix Estimation [30.137884459159107]
  連続状態と行動空間を用いた強化学習において,Q$関数を効率よく学習する方法を考える。 我々は、$epsilon$-Schmidt $Q$-functionと$widetildeO(frac1epsilonmax(d1, d_2)+2)$のサンプル複雑性を求める単純な反復学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2020-06-11T00:55:35Z)
• Learning Polynomials of Few Relevant Dimensions [12.122488725065388]
  多項式回帰は学習と統計の基本的な原始である。 およそ$N = O_r,d(n log2(1/epsilon) (log n)d)$と$O_r,d(N n2)$である。
  論文  参考訳（メタデータ） (2020-04-28T18:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。