論文の概要: Conditioning of Random Feature Matrices: Double Descent and Generalization Error

• arxiv url: http://arxiv.org/abs/2110.11477v1
• Date: Thu, 21 Oct 2021 20:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 14:38:13.991717
• Title: Conditioning of Random Feature Matrices: Double Descent and Generalization Error
• Title（参考訳）: ランダム特徴行列の条件付け:二重降下と一般化誤差
• Authors: Zhijun Chen and Hayden Schaeffer
• Abstract要約: 複雑性比$fracNm$,$N$がニューロン数で$m$がデータサンプル数である場合、乱数特徴行列は十分に条件付きであることを示す。 また、ランダムな特徴行列を用いた回帰問題に関連するリスクが二重降下現象を示すことを証明した。
• 参考スコア（独自算出の注目度）: 6.205559704497758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide (high probability) bounds on the condition number of random feature matrices. In particular, we show that if the complexity ratio $\frac{N}{m}$ where $N$ is the number of neurons and $m$ is the number of data samples scales like $\log^{-3}(N)$ or $\log^{3}(m)$, then the random feature matrix is well-conditioned. This result holds without the need of regularization and relies on establishing a bound on the restricted isometry constant of the random feature matrix. In addition, we prove that the risk associated with regression problems using a random feature matrix exhibits the double descent phenomenon and that this is an effect of the double descent behavior of the condition number. The risk bounds include the underparameterized setting using the least squares problem and the overparameterized setting where using either the minimum norm interpolation problem or a sparse regression problem. For the least squares or sparse regression cases, we show that the risk decreases as $m$ and $N$ increase, even in the presence of bounded or random noise. The risk bound matches the optimal scaling in the literature and the constants in our results are explicit and independent of the dimension of the data.
• Abstract（参考訳）: 我々は、ランダム特徴行列の条件数に(高い確率)境界を与える。 特に、複雑さ比$\frac{N}{m}$がニューロンの数であり、$m$が$\log^{-3}(N)$や$\log^{3}(m)$のようなデータサンプルのスケール数であるなら、ランダムな特徴行列は十分に条件付きである。 この結果は正規化を必要とせず、ランダム特徴行列の制限された等長定数の束縛を確立することに依拠する。 さらに、ランダムな特徴行列を用いた回帰問題に関連するリスクが二重降下現象を示し、これが条件数の二重降下挙動の影響であることを証明した。 リスク境界には、最小二乗問題を用いた過パラメータ設定と、最小ノルム補間問題またはスパース回帰問題を使用する過パラメータ設定が含まれる。 最小二乗またはスパース回帰の場合、有界ノイズやランダムノイズの存在下においても、そのリスクは$m$と$N$の増加とともに減少する。 リスクバウンドは文献の最適スケーリングと一致し、結果の定数はデータの次元とは明確に独立している。

関連論文リスト

• Minimax Linear Regression under the Quantile Risk [31.277788690403522]
  量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。 我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
  論文  参考訳（メタデータ） (2024-06-17T23:24:14Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Feature Adaptation for Sparse Linear Regression [20.923321050404827]
  スパース線形回帰は高次元統計学における中心的な問題である。 少数の近似依存を許容するアルゴリズムを提供する。 我々のフレームワークは、疎線形回帰のためのより広範な機能適応のフレームワークに適合する。
  論文  参考訳（メタデータ） (2023-05-26T12:53:13Z)
• Private Isotonic Regression [54.32252900997422]
  部分順序集合 (poset) $mathcalX$ と任意のリプシッツ損失関数に対する等調回帰の問題を考察する。 約$mathrmwidth(mathcalX) cdot log|mathcalX| / n$, ここで$mathrmwidth(mathcalX)$はポーズの幅である。 上記の境界は本質的に最良であることを示す。
  論文  参考訳（メタデータ） (2022-10-27T05:08:07Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Concentration of Random Feature Matrices in High-Dimensions [7.1171757928258135]
  ランダムな特徴行列のスペクトルは、ランダムな特徴回帰問題に使用される線形システムの条件付けに関する情報を提供する。 2つの入力変数に対する2つの設定を考える。どちらもランダム変数か、一方はランダム変数で、もう一方は十分に分離されている。
  論文  参考訳（メタデータ） (2022-04-14T13:01:27Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model [0.0]
  パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
  論文  参考訳（メタデータ） (2019-12-31T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。