論文の概要: Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression

• arxiv url: http://arxiv.org/abs/2306.08432v2
• Date: Mon, 7 Aug 2023 10:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 22:43:35.930992
• Title: Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression
• Title（参考訳）: 高次元過度線形回帰における最小ノルムリスクのバッチ安定化
• Authors: Shahar Stein Ioushua, Inbar Hasidim, Ofer Shayevitz and Meir Feder
• Abstract要約: バッチ分割は計算効率と性能のトレードオフとして有用であることを示す。 最小ノルム推定器の自然な小バッチ版を提案し、その2次リスクの上限を導出する。 我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上の雑音射影のワッサーシュタイン計量の正規近似によって導かれる。
• 参考スコア（独自算出の注目度）: 21.83136833217205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning algorithms that divide the data into batches are prevalent in many machine-learning applications, typically offering useful trade-offs between computational efficiency and performance. In this paper, we examine the benefits of batch-partitioning through the lens of a minimum-norm overparameterized linear regression model with isotropic Gaussian features. We suggest a natural small-batch version of the minimum-norm estimator, and derive an upper bound on its quadratic risk, showing it is inversely proportional to the noise level as well as to the overparameterization ratio, for the optimal choice of batch size. In contrast to minimum-norm, our estimator admits a stable risk behavior that is monotonically increasing in the overparameterization ratio, eliminating both the blowup at the interpolation point and the double-descent phenomenon. Interestingly, we observe that this implicit regularization offered by the batch partition is partially explained by feature overlap between the batches. Our bound is derived via a novel combination of techniques, in particular normal approximation in the Wasserstein metric of noisy projections over random subspaces.
• Abstract（参考訳）: データをバッチに分割する学習アルゴリズムは、多くの機械学習アプリケーションで一般的であり、典型的には計算効率と性能のトレードオフを提供する。 本稿では,等方的ガウス特徴を持つ最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点について検討する。 最小ノルム推定器の自然な小バッチバージョンを提案し,その二次リスクの上限を導出し,最適バッチサイズの選択のために,ノイズレベルと過パラメータ比に逆比例することを示した。 極小ノルムとは対照的に, 推定器は単調に過パラメータ化比が増加する安定なリスク挙動を認め, 補間点での爆発と二重発振現象の両方を除去する。 興味深いことに、バッチパーティションによって提供されるこの暗黙の規則化は、バッチ間の機能の重複によって部分的に説明される。 我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上のノイズ射影のワッサーシュタイン計量における正規近似によって導かれる。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Ensemble linear interpolators: The role of ensembling [5.135730286836428]
  補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。 本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
  論文  参考訳（メタデータ） (2023-09-06T20:38:04Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Noise Estimation in Gaussian Process Regression [1.5002438468152661]
  提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。 従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-06-20T19:36:03Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Automated data-driven selection of the hyperparameters for Total-Variation based texture segmentation [12.093824308505216]
  一般化されたスタインアンバイアスリスク推定器は、ガウス雑音に対処するために再検討される。 問題定式化は、スケール間および空間的に相関するノイズを自然に含む。
  論文  参考訳（メタデータ） (2020-04-20T16:43:09Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。