論文の概要: Breaking the curse of dimensionality for linear rules: optimal predictors over the ellipsoid

• arxiv url: http://arxiv.org/abs/2509.21174v1
• Date: Thu, 25 Sep 2025 13:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.954822
• Title: Breaking the curse of dimensionality for linear rules: optimal predictors over the ellipsoid
• Title（参考訳）: 線形規則における次元性の呪いを破る:楕円体上の最適な予測因子
• Authors: Alexis Ayme, Bruno Loureiro,
• Abstract要約: 我々は,次元の増大に伴う統計的学習境界の劣化を防止するために,どのような最小構造仮定が必要かを検討する。 分析では, リスクに対する2つの基本的な寄与を取り上げている: (a) データの内在的次元を捉える分散のような用語, (b) ノイズレス誤差(高次元構造において特に発生する用語)。
• 参考スコア（独自算出の注目度）: 13.057977494657564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we address the following question: What minimal structural assumptions are needed to prevent the degradation of statistical learning bounds with increasing dimensionality? We investigate this question in the classical statistical setting of signal estimation from $n$ independent linear observations $Y_i = X_i^{\top}\theta + \epsilon_i$. Our focus is on the generalization properties of a broad family of predictors that can be expressed as linear combinations of the training labels, $f(X) = \sum_{i=1}^{n} l_{i}(X) Y_i$. This class -- commonly referred to as linear prediction rules -- encompasses a wide range of popular parametric and non-parametric estimators, including ridge regression, gradient descent, and kernel methods. Our contributions are twofold. First, we derive non-asymptotic upper and lower bounds on the generalization error for this class under the assumption that the Bayes predictor $\theta$ lies in an ellipsoid. Second, we establish a lower bound for the subclass of rotationally invariant linear prediction rules when the Bayes predictor is fixed. Our analysis highlights two fundamental contributions to the risk: (a) a variance-like term that captures the intrinsic dimensionality of the data; (b) the noiseless error, a term that arises specifically in the high-dimensional regime. These findings shed light on the role of structural assumptions in mitigating the curse of dimensionality.
• Abstract（参考訳）: 本研究では, 次元の増大に伴う統計的学習境界の劣化を防止するために, 最小限の構造仮定が必要であるか, という問題に対処する。 この問題は、$n$独立線形観測による信号推定の古典的な統計的設定において、$Y_i = X_i^{\top}\theta + \epsilon_i$ で調べる。 我々の焦点は、訓練ラベルの線型結合として表現できる幅広い予測子の族、$f(X) = \sum_{i=1}^{n} l_{i}(X) Y_i$の一般化性である。 このクラス(一般に線形予測規則と呼ばれる)は、リッジ回帰、勾配降下、カーネルメソッドを含む、幅広い一般的なパラメトリックおよび非パラメトリック推定器を含んでいる。 私たちの貢献は2倍です。 まず、ベイズ予想子$\theta$が楕円体にあるという仮定の下で、このクラスに対する一般化誤差の非漸近上界と下界を導出する。 第二に、ベイズ予測器が固定されたとき、回転不変線形予測規則のサブクラスに対する下界を確立する。 私たちの分析では、リスクに対する2つの基本的な貢献を強調しています。 a) データの本質的な次元を捉える分散的な用語 (b)ノイズレス誤差とは、高次元状態において特に発生する用語である。 これらの発見は、次元の呪いを緩和する構造的仮定の役割に光を当てた。

関連論文リスト

• Complexity of Vector-valued Prediction: From Linear Models to Stochastic Convex Optimization [27.33243506775655]
  凸とリプシッツ損失関数の基本的な場合に焦点を当てる。 本稿では,この問題の複雑さと関連する学習モデルとの関連性に光を当てた,いくつかの新たな理論的結果を示す。 結果は,ベクトル値線形予測の設定を,広範に研究されている2つの異なる学習モデル間のブリッジングとして表現した。
  論文  参考訳（メタデータ） (2024-12-05T15:56:54Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates and Model Misspecification [16.0817847880416]
  ヒルベルト空間上の様々な線形予測問題を含む統一的なフレームワークを提供する。 誤特定レベル $epsilon$ に対して、これらの推定器は、文献で最もよく知られたレートと一致する、$O(maxleft|mathcalO|1/2n-1/2, |mathcalI|1/2n-1 right+epsilon)$ の誤差率を達成する。
  論文  参考訳（メタデータ） (2022-01-06T08:51:08Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。