Fugu-MT 論文翻訳(概要): An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression

論文の概要: An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression

arxiv url: http://arxiv.org/abs/2306.13185v2
Date: Fri, 22 Mar 2024 12:20:30 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 23:38:50.951676
Title: An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
Title（参考訳）: カーネルリッジ回帰におけるオーバーフィッティングコストの非依存的考察
Authors: Lijia Zhou, James B. Simon, Gal Vardi, Nathan Srebro,
Abstract要約: 雑音性カーネルリッジ回帰(KRR)におけるオーバーフィッティングのコストについて検討する。サンプルサイズが整合性に十分でない場合や,RKHSの外部にある場合であっても,そのコストは対象関数のサンプルサイズ関数として考慮する。我々の分析は、良心的、誘惑的、破滅的なオーバーフィッティングのより洗練された特徴を提供する。
参考スコア（独自算出の注目度）: 34.331394834838804
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the cost of overfitting in noisy kernel ridge regression (KRR), which we define as the ratio between the test error of the interpolating ridgeless model and the test error of the optimally-tuned model. We take an "agnostic" view in the following sense: we consider the cost as a function of sample size for any target function, even if the sample size is not large enough for consistency or the target is outside the RKHS. We analyze the cost of overfitting under a Gaussian universality ansatz using recently derived (non-rigorous) risk estimates in terms of the task eigenstructure. Our analysis provides a more refined characterization of benign, tempered and catastrophic overfitting (cf. Mallinar et al. 2022).
Abstract（参考訳）: 我々は、補間リッジレスモデルの試験誤差と最適に調整されたモデルの試験誤差との比として定義する、ノイズの多いカーネルリッジ回帰(KRR)におけるオーバーフィッティングのコストについて検討する。サンプルサイズが整合性に十分でない場合や、RKHSの外部にある場合であっても、コストを任意の対象関数に対するサンプルサイズの関数とみなす。我々は最近導出された(非厳密な)リスク推定をタスク固有構造の観点から分析し、ガウス普遍性アンサッツの下で過適合のコストを分析する。我々の分析は、良性、誘惑的、破滅的なオーバーフィッティング(cf. Mallinar et al 2022)のより洗練された特徴を提供する。

関連論文リスト

Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。我々は多種多様な高次元データにまたがって理論を検証する。
論文参考訳（メタデータ） (2024-08-08T17:27:29Z)
Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文参考訳（メタデータ） (2024-07-11T13:28:34Z)
Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文参考訳（メタデータ） (2023-09-28T13:04:11Z)
Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
論文参考訳（メタデータ） (2023-05-30T12:18:39Z)
On High dimensional Poisson models with measurement error: hypothesis testing for nonlinear nonconvex optimization [13.369004892264146]
我々は高次元の回帰モデルの推定と検証を行い、データ解析に広く応用する。ペナル化された一貫性を最小化することで回帰パラメータを推定する。提案手法はアルツハイマー病イニシアチブに適用される。
論文参考訳（メタデータ） (2022-12-31T06:58:42Z)
Functional Linear Regression of Cumulative Distribution Functions [20.96177061945288]
本稿では,CDFを至る所で正確に推定する機能リッジ回帰に基づく推定手法を提案する。固定設計, ランダム設計, 対逆コンテキストの場合の$widetilde O(sqrtd/n)$の推定誤差上限を示す。パラメータ空間が無限次元ヒルベルト空間である無限次元モデルを定式化し、この設定に対して自己正規化推定誤差上限を確立する。
論文参考訳（メタデータ） (2022-05-28T23:59:50Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文参考訳（メタデータ） (2021-08-25T21:30:27Z)
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文参考訳（メタデータ） (2021-06-28T00:38:54Z)
Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文参考訳（メタデータ） (2020-11-03T09:46:31Z)
Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。