論文の概要: The phase diagram of kernel interpolation in large dimensions

• arxiv url: http://arxiv.org/abs/2404.12597v1
• Date: Fri, 19 Apr 2024 03:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 16:24:58.653364
• Title: The phase diagram of kernel interpolation in large dimensions
• Title（参考訳）: 大次元におけるカーネル補間の位相図
• Authors: Haobo Zhang, Weihao Lu, Qian Lin,
• Abstract要約: 大きな次元におけるカーネルの一般化能力は、最近のカーネル回帰のルネサンスにおいて、最も興味深い問題の1つかもしれない。 各種ソース条件$sgeq 0$において,大次元カーネルの偏差と偏差の正確な順序を完全に特徴づけた。 我々は、カーネルが極小最適、準最適、矛盾する$(s,gamma)$-planeの領域を決定した。
• 参考スコア（独自算出の注目度）: 8.707305374058794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalization ability of kernel interpolation in large dimensions (i.e., $n \asymp d^{\gamma}$ for some $\gamma>0$) might be one of the most interesting problems in the recent renaissance of kernel regression, since it may help us understand the 'benign overfitting phenomenon' reported in the neural networks literature. Focusing on the inner product kernel on the sphere, we fully characterized the exact order of both the variance and bias of large-dimensional kernel interpolation under various source conditions $s\geq 0$. Consequently, we obtained the $(s,\gamma)$-phase diagram of large-dimensional kernel interpolation, i.e., we determined the regions in $(s,\gamma)$-plane where the kernel interpolation is minimax optimal, sub-optimal and inconsistent.
• Abstract（参考訳）: 大次元でのカーネル補間(例えば$n \asymp d^{\gamma}$ for some $\gamma>0$)の一般化能力は、ニューラルネットワークの文献で報告された「良性過剰な現象」を理解するのに役立つため、最近のカーネル回帰のルネサンスにおいて最も興味深い問題の一つである。 球面上の内積核に焦点をあてて、様々なソース条件$s\geq 0$の下での大次元核補間のばらつきとバイアスの正確な順序を特徴付ける。 その結果、大次元核補間(英語版)の$(s,\gamma)$-phase図(英語版)、すなわち、カーネル補間が極小最適で準最適で矛盾する$(s,\gamma)$-planeの領域を決定する。

関連論文リスト

• Optimal Rate of Kernel Regression in Large Dimensions [13.641780902673792]
  我々はまず,大次元データに対する上界と最小値下界のカーネル回帰を特徴付ける汎用ツールを構築する。 我々は、新しいツールを使用して、カーネル回帰の余剰リスクの最小値が$n-1/2$であることを示す。
  論文  参考訳（メタデータ） (2023-09-08T11:29:05Z)
• Kernel interpolation generalizes poorly [14.569829985753346]
  任意の $varepsilon>0$ に対して、カーネル一般化の誤差は $Omega(n-varepsilon)$ で下界であることが示される。 直接的に、球面上で定義された過度に適合した広義のニューラルネットワークは、一般化が不十分であることを示すことができる。
  論文  参考訳（メタデータ） (2023-03-28T08:28:39Z)
• Kernel Subspace and Feature Extraction [7.424262881242935]
  特徴部分空間の観点から,機械学習におけるカーネル手法について検討する。 我々は、ヒルシュフェルト-ゲベライン-レーニの最大相関関数からカーネルを構築し、最大相関カーネルを作成し、その情報理論の最適性を示す。
  論文  参考訳（メタデータ） (2023-01-04T02:46:11Z)
• On The Relative Error of Random Fourier Features for Preserving Kernel Distance [7.383448514243228]
  有名なラプラシアカーネルを含むかなりの範囲のカーネルに対して、RFFは低次元を用いて小さな相対誤差でカーネル距離を近似することはできないことを示す。 一般シフト不変カーネルに対するデータ公開次元還元に向けての第一歩を踏み出し、ラプラシアンカーネルに対して同様の$mathrmpoly(epsilon-1 log n)$ dimension を得る。
  論文  参考訳（メタデータ） (2022-10-01T10:35:12Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• How rotational invariance of common kernels prevents generalization in high dimensions [8.508198765617196]
  カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
  論文  参考訳（メタデータ） (2021-04-09T08:27:37Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
  低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。 最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
  論文  参考訳（メタデータ） (2021-02-15T13:24:41Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。