Fugu-MT 論文翻訳(概要): The Optimality of Kernel Classifiers in Sobolev Space

論文の概要: The Optimality of Kernel Classifiers in Sobolev Space

arxiv url: http://arxiv.org/abs/2402.01148v1
Date: Fri, 2 Feb 2024 05:23:34 GMT
ステータス: 処理完了
システム内更新日: 2024-02-05 16:52:02.600184
Title: The Optimality of Kernel Classifiers in Sobolev Space
Title（参考訳）: ソボレフ空間におけるカーネル分類器の最適性
Authors: Jianfa Lai, Zhifan Li, Dongming Huang, Qian Lin
Abstract要約: 本稿では,カーネル分類器の統計的性能について検討する。また,2eta(x)-1$の滑らかさを推定する簡単な手法を提案し,本手法を実データセットに適用する。
参考スコア（独自算出の注目度）: 3.3253452228326332
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Kernel methods are widely used in machine learning, especially for classification problems. However, the theoretical analysis of kernel classification is still limited. This paper investigates the statistical performances of kernel classifiers. With some mild assumptions on the conditional probability $\eta(x)=\mathbb{P}(Y=1\mid X=x)$, we derive an upper bound on the classification excess risk of a kernel classifier using recent advances in the theory of kernel regression. We also obtain a minimax lower bound for Sobolev spaces, which shows the optimality of the proposed classifier. Our theoretical results can be extended to the generalization error of overparameterized neural network classifiers. To make our theoretical results more applicable in realistic settings, we also propose a simple method to estimate the interpolation smoothness of $2\eta(x)-1$ and apply the method to real datasets.
Abstract（参考訳）: カーネル法は機械学習、特に分類問題に広く用いられている。しかし、カーネル分類の理論解析はまだ限られている。本稿では,カーネル分類器の統計性能について検討する。条件付き確率 $\eta(x)=\mathbb{p}(y=1\mid x=x)$ に関する穏やかな仮定により、カーネル回帰理論の最近の進歩を用いて、カーネル分類器の分類過剰リスクの上限を導出する。また、提案された分類器の最適性を示すソボレフ空間に対するミニマックス下界を得る。我々の理論的結果は、過パラメータ化ニューラルネットワーク分類器の一般化誤差にまで拡張できる。また,理論結果をより現実的な設定に適用するために,2. eta(x)-1$の補間滑らか度を推定し,本手法を実データセットに適用する簡単な手法を提案する。

関連論文リスト

Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。 BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
論文参考訳（メタデータ） (2024-07-24T13:46:50Z)
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文参考訳（メタデータ） (2022-06-03T07:50:54Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Nystr\"om Kernel Mean Embeddings [92.10208929236826]
Nystr"om法に基づく効率的な近似手法を提案する。サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
論文参考訳（メタデータ） (2022-01-31T08:26:06Z)
Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
論文参考訳（メタデータ） (2021-09-24T14:48:20Z)
Learning primal-dual sparse kernel machines [10.230121160034674]
伝統的に、カーネル法は、学習問題の解は再生されたカーネルヒルベルト空間(RKHS)にマッピングされたデータの線形結合として得られるという代表者定理に依存している。本稿では,RKHS の要素が必ずしもトレーニングセットの要素に対応するとは限らない元データ空間において,前像分解を持つ解を求めることを提案する。勾配に基づく手法は入力空間のスパース要素の最適化に重きを置き、原始空間と双対空間の両方でカーネルベースのモデルを得ることができる。
論文参考訳（メタデータ） (2021-08-27T09:38:53Z)
Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文参考訳（メタデータ） (2021-06-16T08:27:31Z)
Kernelized Classification in Deep Networks [49.47339560731506]
本稿では,ディープネットワークのためのカーネル分類層を提案する。訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
論文参考訳（メタデータ） (2020-12-08T21:43:19Z)
Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文参考訳（メタデータ） (2020-06-22T21:12:31Z)
RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-12T01:14:44Z)
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm [8.571896191090744]
MLRパラメータの平均二乗誤差を最小化するという意味では,Biweightカーネルが最適であることを示す。第2に、アルゴリズムを反復的に再重み付けした最小二乗アルゴリズム(IRLS)が収束することを保証したカーネルクラスを提供する。
論文参考訳（メタデータ） (2020-01-30T03:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。