論文の概要: Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions

• arxiv url: http://arxiv.org/abs/2006.08917v2
• Date: Sun, 5 Jul 2020 23:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:46:57.014266
• Title: Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions
• Title（参考訳）: 高次元におけるリッジ規則化実証リスク最小化の基礎的限界
• Authors: Hossein Taheri, Ramtin Pedarsani, and Christos Thrampoulidis
• Abstract要約: 経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
• 参考スコア（独自算出の注目度）: 41.7567932118769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical Risk Minimization (ERM) algorithms are widely used in a variety of estimation and prediction tasks in signal-processing and machine learning applications. Despite their popularity, a theory that explains their statistical properties in modern regimes where both the number of measurements and the number of unknown parameters is large is only recently emerging. In this paper, we characterize for the first time the fundamental limits on the statistical accuracy of convex ERM for inference in high-dimensional generalized linear models. For a stylized setting with Gaussian features and problem dimensions that grow large at a proportional rate, we start with sharp performance characterizations and then derive tight lower bounds on the estimation and prediction error that hold over a wide class of loss functions and for any value of the regularization parameter. Our precise analysis has several attributes. First, it leads to a recipe for optimally tuning the loss function and the regularization parameter. Second, it allows to precisely quantify the sub-optimality of popular heuristic choices: for instance, we show that optimally-tuned least-squares is (perhaps surprisingly) approximately optimal for standard logistic data, but the sub-optimality gap grows drastically as the signal strength increases. Third, we use the bounds to precisely assess the merits of ridge-regularization as a function of the over-parameterization ratio. Notably, our bounds are expressed in terms of the Fisher Information of random variables that are simple functions of the data distribution, thus making ties to corresponding bounds in classical statistics.
• Abstract（参考訳）: 経験的リスク最小化(ERM)アルゴリズムは、信号処理や機械学習アプリケーションにおける様々な推定や予測タスクで広く利用されている。 それらの人気にもかかわらず、測定数と未知のパラメータ数の両方が大きすぎる現代体制において、その統計特性を説明する理論が最近登場している。 本稿では,高次元一般化線形モデルにおける推論における凸EMMの統計的精度の基本的な限界を初めて特徴づける。 比例率で大きく成長するガウス的特徴と問題次元を持つスタイリングされた設定では、シャープな性能特性から始め、広い種類の損失関数と正規化パラメータの任意の値を保持する推定誤差と予測誤差の厳密な下限を導出する。 我々の正確な分析にはいくつかの属性がある。 まず、損失関数と正規化パラメータを最適に調整するためのレシピを作成する。 第二に、一般的なヒューリスティック選択のサブ最適性を正確に定量化することができる:例えば、最適に調整された最小二乗は(おそらく驚くほど)標準ロジスティックデータにほぼ最適であるが、信号強度が増加するにつれてサブ最適ギャップは劇的に増加する。 第3に,オーバーパラメータ比の関数として,リッジレギュライゼーションのメリットを正確に評価するために境界を用いる。 特に、我々の境界は、データ分布の単純な関数である確率変数のフィッシャー情報によって表現され、古典統計学において対応する境界と結びついている。

関連論文リスト

• On the design-dependent suboptimality of the Lasso [27.970033039287884]
  最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。 我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
  論文  参考訳（メタデータ） (2024-02-01T07:01:54Z)
• Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices [10.377683220196873]
  共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。 スパイク共分散モデルにおける最適偏微分的主成分分析(PCA)と共分散推定について検討した。 計算効率のよい微分プライベート推定器を提案し、その極小極小性をガウス分布に対して証明する。
  論文  参考訳（メタデータ） (2024-01-08T11:18:14Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。