論文の概要: Dimension-free deterministic equivalents and scaling laws for random feature regression

• arxiv url: http://arxiv.org/abs/2405.15699v3
• Date: Tue, 05 Nov 2024 15:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:57:03.041259
• Title: Dimension-free deterministic equivalents and scaling laws for random feature regression
• Title（参考訳）: ランダムな特徴回帰のための次元自由決定論的同値とスケーリング法則
• Authors: Leonardo Defilippis, Bruno Loureiro, Theodor Misiakiewicz,
• Abstract要約: テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
• 参考スコア（独自算出の注目度）: 11.607594737176973
• License:
• Abstract: In this work we investigate the generalization performance of random feature ridge regression (RFRR). Our main contribution is a general deterministic equivalent for the test error of RFRR. Specifically, under a certain concentration property, we show that the test error is well approximated by a closed-form expression that only depends on the feature map eigenvalues. Notably, our approximation guarantee is non-asymptotic, multiplicative, and independent of the feature map dimension -- allowing for infinite-dimensional features. We expect this deterministic equivalent to hold broadly beyond our theoretical analysis, and we empirically validate its predictions on various real and synthetic datasets. As an application, we derive sharp excess error rates under standard power-law assumptions of the spectrum and target decay. In particular, we provide a tight result for the smallest number of features achieving optimal minimax error rate.
• Abstract（参考訳）: 本研究では,ランダム特徴リッジ回帰(RFRR)の一般化性能について検討する。 我々の主な貢献は、RFRRのテスト誤差に対する一般的な決定論的等価性である。 具体的には、ある濃度特性の下で、テスト誤差は特徴写像固有値にのみ依存する閉形式式によってよく近似されていることを示す。 特に、我々の近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である -- 無限次元の特徴を可能にする。 我々は、この決定論的等価性は、我々の理論的分析をはるかに超え、様々な実・合成データセット上でその予測を実証的に検証する。 応用として、スペクトルと目標減衰の標準パワールール仮定の下で、急激な過大な誤差率を導出する。 特に、最適なミニマックス誤差率を達成する最小の特徴量に対して、厳密な結果を与える。

関連論文リスト

• A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator [7.163829696591103]
  カーネルリッジ回帰を用いた未知のターゲット関数$f_*$の学習を検討する。 KRRのテスト誤差に対する非漸近的決定論的近似を確立した。
  論文  参考訳（メタデータ） (2024-03-13T20:12:03Z)
• Error Bounds for Learning with Vector-Valued Random Features [2.375038919274297]
  本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
  論文  参考訳（メタデータ） (2023-05-26T18:00:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Off-policy estimation of linear functionals: Non-asymptotic theory for semi-parametric efficiency [59.48096489854697]
  観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。 このような手順の平均二乗誤差に対して非漸近上界を証明した。 非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
  論文  参考訳（メタデータ） (2022-09-26T23:50:55Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Adversarial Estimation of Riesz Representers [21.510036777607397]
  一般関数空間を用いてRiesz表現子を推定する逆フレームワークを提案する。 臨界半径(Critical radius)と呼ばれる抽象的な量で非漸近平均平方レートを証明し、ニューラルネットワーク、ランダムな森林、カーネルヒルベルト空間を主要なケースとして再現する。
  論文  参考訳（メタデータ） (2020-12-30T19:46:57Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Minimax Estimation of Conditional Moment Models [40.95498063465325]
  min-max基準関数を導入し,ゼロサムゲームの解法とみなすことができる。 任意の仮説空間に対する結果推定器の統計的推定速度を解析する。 修正された平均二乗誤差率と、逆問題の不備とが組み合わさって、平均二乗誤差率をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-12T14:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。