論文の概要: Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression
- arxiv url: http://arxiv.org/abs/2306.08432v3
- Date: Sat, 21 Sep 2024 19:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 15:02:22.820965
- Title: Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression
- Title（参考訳）: 高次元過度線形回帰における最小ノルムリスクのバッチ安定化
- Authors: Shahar Stein Ioushua, Inbar Hasidim, Ofer Shayevitz, Meir Feder,
- Abstract要約: 最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。
最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。
また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
- 参考スコア（独自算出の注目度）: 12.443289202402761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning algorithms that divide the data into batches are prevalent in many machine-learning applications, typically offering useful trade-offs between computational efficiency and performance. In this paper, we examine the benefits of batch-partitioning through the lens of a minimum-norm overparametrized linear regression model with isotropic Gaussian features. We suggest a natural small-batch version of the minimum-norm estimator and derive bounds on its quadratic risk. We then characterize the optimal batch size and show it is inversely proportional to the noise level, as well as to the overparametrization ratio. In contrast to minimum-norm, our estimator admits a stable risk behavior that is monotonically increasing in the overparametrization ratio, eliminating both the blowup at the interpolation point and the double-descent phenomenon. We further show that shrinking the batch minimum-norm estimator by a factor equal to the Weiner coefficient further stabilizes it and results in lower quadratic risk in all settings. Interestingly, we observe that the implicit regularization offered by the batch partition is partially explained by feature overlap between the batches. Our bound is derived via a novel combination of techniques, in particular normal approximation in the Wasserstein metric of noisy projections over random subspaces.
- Abstract（参考訳）: データをバッチに分割する学習アルゴリズムは、多くの機械学習アプリケーションで一般的であり、典型的には計算効率と性能のトレードオフを提供する。
本稿では,等方的ガウス特徴を持つ最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点について検討する。
最小ノルム推定器の自然な小バッチ版を提案し、その二次リスクを導出する。
次に、最適なバッチサイズを特徴付け、ノイズレベルと過度パラメータ比に逆比例することを示す。
最小ノルムとは対照的に,我々の推定器は過パラメトリゼーション比で単調に増加する安定なリスク挙動を認め,補間点での爆発と二重発振現象の両方を除去する。
さらに、Weiner係数に等しい係数によるバッチ最小ノルム推定器の縮小がさらに安定化し、全ての設定において2次リスクを低くすることを示した。
興味深いことに、バッチパーティションによって提供される暗黙の正規化は、バッチ間の機能の重複によって部分的に説明される。
我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上の雑音射影のワッサーシュタイン計量の正規近似によって導かれる。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Minimax Linear Regression under the Quantile Risk [31.277788690403522]
量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。
我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
論文 参考訳（メタデータ） (2024-06-17T23:24:14Z) - Ensemble linear interpolators: The role of ensembling [5.135730286836428]
補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。
本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
論文 参考訳（メタデータ） (2023-09-06T20:38:04Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Optimally tackling covariate shift in RKHS-based nonparametric
regression [43.457497490211985]
我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。
また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。
そこで本研究では, 再重み付きKRR推定器を提案する。
論文 参考訳（メタデータ） (2022-05-06T02:33:24Z) - Non asymptotic estimation lower bounds for LTI state space models with
Cram\'er-Rao and van Trees [1.14219428942199]
本研究では,未知の共分散のガウス励起を持つ線形時間不変(LTI)状態空間モデルに対する推定問題について検討する。
予測される推定誤差と最小二乗推定器の平均二乗推定リスクに対して非下界を与える。
その結果, 推定リスクを期待して, 既存の下限を下限に拡張し, 改善した。
論文 参考訳（メタデータ） (2021-09-17T15:00:25Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳（メタデータ） (2020-10-09T22:54:38Z) - Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in
High Dimensions [41.7567932118769]
経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。
本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
論文 参考訳（メタデータ） (2020-06-16T04:27:38Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。