論文の概要: Asymptotics of Ridge (less) Regression under General Source Condition
- arxiv url: http://arxiv.org/abs/2006.06386v3
- Date: Mon, 8 Mar 2021 10:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 14:23:58.409923
- Title: Asymptotics of Ridge (less) Regression under General Source Condition
- Title（参考訳）: ソース条件下におけるリッジ(レス)回帰の漸近
- Authors: Dominic Richards, Jaouad Mourtada and Lorenzo Rosasco
- Abstract要約: 我々は,真の回帰パラメータの構造が果たす役割を考察する。
有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。
これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
- 参考スコア（独自算出の注目度）: 26.618200633139256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyze the prediction error of ridge regression in an asymptotic regime
where the sample size and dimension go to infinity at a proportional rate. In
particular, we consider the role played by the structure of the true regression
parameter. We observe that the case of a general deterministic parameter can be
reduced to the case of a random parameter from a structured prior. The latter
assumption is a natural adaptation of classic smoothness assumptions in
nonparametric regression, which are known as source conditions in the the
context of regularization theory for inverse problems. Roughly speaking, we
assume the large coefficients of the parameter are in correspondence to the
principal components. In this setting a precise characterisation of the test
error is obtained, depending on the inputs covariance and regression parameter
structure. We illustrate this characterisation in a simplified setting to
investigate the influence of the true parameter on optimal regularisation for
overparameterized models. We show that interpolation (no regularisation) can be
optimal even with bounded signal-to-noise ratio (SNR), provided that the
parameter coefficients are larger on high-variance directions of the data,
corresponding to a more regular function than posited by the regularization
term. This contrasts with previous work considering ridge regression with
isotropic prior, in which case interpolation is only optimal in the limit of
infinite SNR.
- Abstract（参考訳）: 本研究では,試料サイズと寸法が比例率で無限大となる漸近環境におけるリッジ回帰の予測誤差を解析した。
特に,真の回帰パラメータの構造が果たす役割について考察する。
我々は、一般的な決定論的パラメータの場合を、構造化前のパラメータからランダムパラメータの場合まで減らすことができることを観察した。
後者の仮定は、非パラメトリック回帰における古典的滑らか性仮定の自然な適応であり、逆問題に対する正規化理論の文脈における源条件として知られている。
大まかに言えば、パラメータの大きな係数は主成分に対応していると仮定する。
この設定では、入力の共分散と回帰パラメータ構造に応じて、テストエラーの正確な特徴付けが得られる。
過パラメータ化モデルに対する最適正則化に対する真のパラメータの影響を調べるため、この特徴付けを単純化した設定で説明する。
補間(正則化なし)は有界信号対雑音比(snr)でも最適であり、パラメータ係数は正則化項で示されるよりも規則的な関数に対応し、データの高分散方向においてより大きいことが示される。
これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合の補間は無限SNRの極限において最適である。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。
ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
論文 参考訳（メタデータ） (2024-04-11T15:43:11Z) - Gradient-based bilevel optimization for multi-penalty Ridge regression
through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。
提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。
勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文 参考訳（メタデータ） (2023-11-23T20:03:51Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文 参考訳（メタデータ） (2020-11-03T09:46:31Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in
High Dimensions [41.7567932118769]
経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。
本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
論文 参考訳（メタデータ） (2020-06-16T04:27:38Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。