論文の概要: Ensemble linear interpolators: The role of ensembling
- arxiv url: http://arxiv.org/abs/2309.03354v1
- Date: Wed, 6 Sep 2023 20:38:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 14:58:07.062464
- Title: Ensemble linear interpolators: The role of ensembling
- Title(参考訳): アンサンブル線形補間器:センシングの役割
- Authors: Mingqi Wu, Qiang Sun
- Abstract要約: 補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。
本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
- 参考スコア(独自算出の注目度): 5.135730286836428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpolators are unstable. For example, the mininum $\ell_2$ norm least
square interpolator exhibits unbounded test errors when dealing with noisy
data. In this paper, we study how ensemble stabilizes and thus improves the
generalization performance, measured by the out-of-sample prediction risk, of
an individual interpolator. We focus on bagged linear interpolators, as bagging
is a popular randomization-based ensemble method that can be implemented in
parallel. We introduce the multiplier-bootstrap-based bagged least square
estimator, which can then be formulated as an average of the sketched least
square estimators. The proposed multiplier bootstrap encompasses the classical
bootstrap with replacement as a special case, along with a more intriguing
variant which we call the Bernoulli bootstrap.
Focusing on the proportional regime where the sample size scales
proportionally with the feature dimensionality, we investigate the
out-of-sample prediction risks of the sketched and bagged least square
estimators in both underparametrized and overparameterized regimes. Our results
reveal the statistical roles of sketching and bagging. In particular, sketching
modifies the aspect ratio and shifts the interpolation threshold of the minimum
$\ell_2$ norm estimator. However, the risk of the sketched estimator continues
to be unbounded around the interpolation threshold due to excessive variance.
In stark contrast, bagging effectively mitigates this variance, leading to a
bounded limiting out-of-sample prediction risk. To further understand this
stability improvement property, we establish that bagging acts as a form of
implicit regularization, substantiated by the equivalence of the bagged
estimator with its explicitly regularized counterpart. We also discuss several
extensions.
- Abstract(参考訳): インターポレータは不安定です。
例えば、mininum $\ell_2$ norm least square interpolatorは、ノイズのあるデータを扱う際に境界のないテストエラーを示す。
本稿では,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの安定化と一般化性能の向上について検討する。
バッグングは、並列に実装できる一般的なランダム化に基づくアンサンブル法であるため、タグ付き線形補間器に着目する。
マルチプライヤ・ブートストラップを用いた最小二乗推定器を導入し,スケッチした最小二乗推定器の平均値として定式化することができる。
提案された乗算ブートストラップは、Bernolliブートストラップと呼ばれるより興味深いバリエーションとともに、特別なケースとして置き換えられた古典的なブートストラップを含んでいる。
試料サイズが特徴寸法に比例してスケールする比例状態に着目し,過パラメータ化および過パラメータ化状態におけるスケッチおよび袋詰めされた最小二乗推定器の標本外予測リスクについて検討した。
その結果,スケッチやバッグングの統計的役割が明らかになった。
特に、スケッチはアスペクト比を変更し、最小$\ell_2$ norm estimatorの補間閾値をシフトする。
しかし, 過度な分散による補間しきい値付近では, スケッチ推定器の危険性は引き続き非有界である。
対照的に、バグングはこのばらつきを効果的に軽減し、サンプル外の予測リスクを限定する。
この安定性向上特性をさらに理解するために,バギングが暗黙の正則化の形式として機能し,バギング推定器と明示的な正則化の同値性によって裏付けられることを確かめる。
いくつかの拡張についても論じる。
関連論文リスト
- Spectrum-Aware Adjustment: A New Debiasing Framework with Applications
to Principal Component Regression [1.5863809575305419]
我々は高次元線形回帰のための新しいデバイアス化フレームワークを導入する。
特徴量とサンプルの数が大小を問わず比較できるような,一般的な設定について検討する。
本手法は,自由度デバイアスをマージンで上回ることを示す。
論文 参考訳(メタデータ) (2023-09-14T15:58:30Z) - Batches Stabilize the Minimum Norm Risk in High Dimensional
Overparameterized Linear Regression [21.83136833217205]
バッチ分割は計算効率と性能のトレードオフとして有用であることを示す。
最小ノルム推定器の自然な小バッチ版を提案し、その2次リスクの上限を導出する。
我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上の雑音射影のワッサーシュタイン計量の正規近似によって導かれる。
論文 参考訳(メタデータ) (2023-06-14T11:02:08Z) - Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。
我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
論文 参考訳(メタデータ) (2023-05-29T14:05:51Z) - Under-Parameterized Double Descent for Ridge Regularized Least Squares
Denoising of Data on a Line [3.437656066916039]
このモデルに対して、パラメータワイドの2重降下が小さな$mu$に対して発生することを示す。
入力データノイズレギュレータよりもリッジレギュレータを使うことを暗黙的に好んでいるという実証的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T03:52:48Z) - Bagging in overparameterized learning: Risk characterization and risk
monotonization [2.6534407766508177]
本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。
具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
論文 参考訳(メタデータ) (2022-10-20T17:45:58Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳(メタデータ) (2021-01-19T18:55:29Z) - Nearly Dimension-Independent Sparse Linear Bandit over Small Action
Spaces via Best Subset Selection [71.9765117768556]
本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。
この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。
本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
論文 参考訳(メタデータ) (2020-09-04T04:10:39Z) - Estimating Gradients for Discrete Random Variables by Sampling without
Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。
推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文 参考訳(メタデータ) (2020-02-14T14:15:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。