論文の概要: Kernel Alignment Risk Estimator: Risk Prediction from Training Data
- arxiv url: http://arxiv.org/abs/2006.09796v1
- Date: Wed, 17 Jun 2020 12:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:28:26.854891
- Title: Kernel Alignment Risk Estimator: Risk Prediction from Training Data
- Title（参考訳）: カーネルアライメントリスク推定器 : トレーニングデータからのリスク予測
- Authors: Arthur Jacot, Berfin \c{S}im\c{s}ek, Francesco Spadaro, Cl\'ement
Hongler, Franck Gabriel
- Abstract要約: 我々はKRR(Kernel Ridge Regression)のリスク(すなわち一般化誤差)を、ridge $lambda>0$およびi.i.d.観測値を持つカーネル$K$に対して検討する。
本稿では、SCT(Signal Capture Threshold)とKARE(Kernel Alignment Risk Estimator)の2つのオブジェクトを紹介する。
- 参考スコア（独自算出の注目度）: 10.739602293023058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the risk (i.e. generalization error) of Kernel Ridge Regression
(KRR) for a kernel $K$ with ridge $\lambda>0$ and i.i.d. observations. For
this, we introduce two objects: the Signal Capture Threshold (SCT) and the
Kernel Alignment Risk Estimator (KARE). The SCT $\vartheta_{K,\lambda}$ is a
function of the data distribution: it can be used to identify the components of
the data that the KRR predictor captures, and to approximate the (expected) KRR
risk. This then leads to a KRR risk approximation by the KARE $\rho_{K,
\lambda}$, an explicit function of the training data, agnostic of the true data
distribution. We phrase the regression problem in a functional setting. The key
results then follow from a finite-size analysis of the Stieltjes transform of
general Wishart random matrices. Under a natural universality assumption (that
the KRR moments depend asymptotically on the first two moments of the
observations) we capture the mean and variance of the KRR predictor. We
numerically investigate our findings on the Higgs and MNIST datasets for
various classical kernels: the KARE gives an excellent approximation of the
risk, thus supporting our universality assumption. Using the KARE, one can
compare choices of Kernels and hyperparameters directly from the training set.
The KARE thus provides a promising data-dependent procedure to select Kernels
that generalize well.
- Abstract（参考訳）: 我々はKRR(Kernel Ridge Regression)のリスク(すなわち一般化誤差)を、リッジ$\lambda>0$とi.d.観測値を持つカーネル$K$に対して検討する。
本稿では,SCT(Signal Capture Threshold)とKARE(Kernel Alignment Risk Estimator)の2つのオブジェクトを紹介する。
SCT $\vartheta_{K,\lambda}$は、データ分散の関数であり、KRR予測器がキャプチャするデータのコンポーネントを特定し、(予測された)KRRリスクを近似するために使用できる。
これにより、トレーニングデータの明示的な関数であるkare $\rho_{k, \lambda}$によるkrrのリスク近似が真のデータ分布とは無関係になる。
回帰問題を機能的設定で表現する。
鍵となる結果は、一般的なウィシャートランダム行列のスティルチェス変換の有限次元解析から導かれる。
自然普遍性仮定(KRRモーメントは観測の最初の2つのモーメントに漸近的に依存する)の下で、KRR予測子の平均と分散を捉える。
古典カーネルのヒッグスデータセットとMNISTデータセットに関する我々の知見を数値的に検討し、KAREはリスクの優れた近似を与え、普遍性仮定を支持する。
KAREを使用すると、トレーニングセットから直接カーネルとハイパーパラメータの選択を比較することができる。
したがって、KAREは、うまく一般化するカーネルを選択するための有望なデータ依存プロシージャを提供する。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳（メタデータ） (2024-08-08T17:27:29Z) - Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。
我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。
我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
論文 参考訳（メタデータ） (2024-08-02T07:29:49Z) - On the Size and Approximation Error of Distilled Sets [57.61696480305911]
カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。
我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。
KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
論文 参考訳（メタデータ） (2023-05-23T14:37:43Z) - Kernel Ridge Regression Inference [7.066496204344619]
カーネルリッジ回帰のための均一な推論と信頼バンドを提供する。
我々は、KRRに対して、一般回帰器に対して、ほぼミニマックス速度で縮小するシャープで均一な信頼セットを構築する。
我々は,学校の課題におけるマッチング効果の新たなテストを構築するために,我々の手順を利用する。
論文 参考訳（メタデータ） (2023-02-13T18:26:36Z) - Overparameterized random feature regression with nearly orthogonal data [21.97381518762387]
本研究では,2層ニューラルネットワークによるランダム特徴リッジ回帰(RFRR)の非漸近挙動について検討した。
我々の結果は、ほぼ決定論的性質を示す様々なアクティベーション関数と入力データセットに対して成り立っている。
論文 参考訳（メタデータ） (2022-11-11T09:16:25Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Outlier detection in non-elliptical data by kernel MRCD [10.69910379275607]
Kernel Minimum Regularized Covariance Determinant (KMRCD) 推定器を提案する。
カーネル誘導特徴空間におけるMRCD推定値を暗黙的に計算する。
カーネルベースの初期推定から始まり、カーネルのトリックを利用して、その後の計算を高速化する高速アルゴリズムが構築されている。
論文 参考訳（メタデータ） (2020-08-05T11:09:08Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳（メタデータ） (2020-06-30T13:00:16Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳（メタデータ） (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。