論文の概要: Ensemble linear interpolators: The role of ensembling
- arxiv url: http://arxiv.org/abs/2309.03354v1
- Date: Wed, 6 Sep 2023 20:38:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 14:58:07.062464
- Title: Ensemble linear interpolators: The role of ensembling
- Title（参考訳）: アンサンブル線形補間器:センシングの役割
- Authors: Mingqi Wu, Qiang Sun
- Abstract要約: 補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。
本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
- 参考スコア（独自算出の注目度）: 5.135730286836428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpolators are unstable. For example, the mininum $\ell_2$ norm least
square interpolator exhibits unbounded test errors when dealing with noisy
data. In this paper, we study how ensemble stabilizes and thus improves the
generalization performance, measured by the out-of-sample prediction risk, of
an individual interpolator. We focus on bagged linear interpolators, as bagging
is a popular randomization-based ensemble method that can be implemented in
parallel. We introduce the multiplier-bootstrap-based bagged least square
estimator, which can then be formulated as an average of the sketched least
square estimators. The proposed multiplier bootstrap encompasses the classical
bootstrap with replacement as a special case, along with a more intriguing
variant which we call the Bernoulli bootstrap.
Focusing on the proportional regime where the sample size scales
proportionally with the feature dimensionality, we investigate the
out-of-sample prediction risks of the sketched and bagged least square
estimators in both underparametrized and overparameterized regimes. Our results
reveal the statistical roles of sketching and bagging. In particular, sketching
modifies the aspect ratio and shifts the interpolation threshold of the minimum
$\ell_2$ norm estimator. However, the risk of the sketched estimator continues
to be unbounded around the interpolation threshold due to excessive variance.
In stark contrast, bagging effectively mitigates this variance, leading to a
bounded limiting out-of-sample prediction risk. To further understand this
stability improvement property, we establish that bagging acts as a form of
implicit regularization, substantiated by the equivalence of the bagged
estimator with its explicitly regularized counterpart. We also discuss several
extensions.
- Abstract（参考訳）: インターポレータは不安定です。
例えば、mininum $\ell_2$ norm least square interpolatorは、ノイズのあるデータを扱う際に境界のないテストエラーを示す。
本稿では,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの安定化と一般化性能の向上について検討する。
バッグングは、並列に実装できる一般的なランダム化に基づくアンサンブル法であるため、タグ付き線形補間器に着目する。
マルチプライヤ・ブートストラップを用いた最小二乗推定器を導入し,スケッチした最小二乗推定器の平均値として定式化することができる。
提案された乗算ブートストラップは、Bernolliブートストラップと呼ばれるより興味深いバリエーションとともに、特別なケースとして置き換えられた古典的なブートストラップを含んでいる。
試料サイズが特徴寸法に比例してスケールする比例状態に着目し,過パラメータ化および過パラメータ化状態におけるスケッチおよび袋詰めされた最小二乗推定器の標本外予測リスクについて検討した。
その結果,スケッチやバッグングの統計的役割が明らかになった。
特に、スケッチはアスペクト比を変更し、最小$\ell_2$ norm estimatorの補間閾値をシフトする。
しかし, 過度な分散による補間しきい値付近では, スケッチ推定器の危険性は引き続き非有界である。
対照的に、バグングはこのばらつきを効果的に軽減し、サンプル外の予測リスクを限定する。
この安定性向上特性をさらに理解するために,バギングが暗黙の正則化の形式として機能し,バギング推定器と明示的な正則化の同値性によって裏付けられることを確かめる。
いくつかの拡張についても論じる。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2023-12-15T17:28:09Z) - Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。
最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。
また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
論文 参考訳（メタデータ） (2023-06-14T11:02:08Z) - Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。
我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
論文 参考訳（メタデータ） (2023-05-29T14:05:51Z) - Bagging in overparameterized learning: Risk characterization and risk
monotonization [2.6534407766508177]
本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。
具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
論文 参考訳（メタデータ） (2022-10-20T17:45:58Z) - Foolish Crowds Support Benign Overfitting [20.102619493827024]
ガウスデータによる線形回帰に対するスパース補間手順の過大なリスクの低い境界を証明した。
ここでは, 騒音の適応による害は, 様々な方向に拡げることによって改善されるが, この分析は「群衆の知恵」の利点を露呈する。
論文 参考訳（メタデータ） (2021-10-06T16:56:37Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Estimating Gradients for Discrete Random Variables by Sampling without
Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。
推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文 参考訳（メタデータ） (2020-02-14T14:15:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。