論文の概要: Bagging in overparameterized learning: Risk characterization and risk
monotonization
- arxiv url: http://arxiv.org/abs/2210.11445v2
- Date: Mon, 10 Jul 2023 00:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 22:34:31.496056
- Title: Bagging in overparameterized learning: Risk characterization and risk
monotonization
- Title(参考訳): 過パラメータ学習におけるバギング:リスク特性とリスク単調化
- Authors: Pratik Patil, Jin-Hong Du, Arun Kumar Kuchibhotla
- Abstract要約: 本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。
具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
- 参考スコア(独自算出の注目度): 4.87717454493713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bagging is a commonly used ensemble technique in statistics and machine
learning to improve the performance of prediction procedures. In this paper, we
study the prediction risk of variants of bagged predictors under the
proportional asymptotics regime, in which the ratio of the number of features
to the number of observations converges to a constant. Specifically, we propose
a general strategy to analyze the prediction risk under squared error loss of
bagged predictors using classical results on simple random sampling.
Specializing the strategy, we derive the exact asymptotic risk of the bagged
ridge and ridgeless predictors with an arbitrary number of bags under a
well-specified linear model with arbitrary feature covariance matrices and
signal vectors. Furthermore, we prescribe a generic cross-validation procedure
to select the optimal subsample size for bagging and discuss its utility to
eliminate the non-monotonic behavior of the limiting risk in the sample size
(i.e., double or multiple descents). In demonstrating the proposed procedure
for bagged ridge and ridgeless predictors, we thoroughly investigate the oracle
properties of the optimal subsample size and provide an in-depth comparison
between different bagging variants.
- Abstract(参考訳): バギング(英: Bagging)は、統計学と機械学習において、予測手順の性能を改善するために一般的に用いられるアンサンブル技法である。
本稿では,比例漸近法の下での袋詰め予測器の変種について,特徴数と観測数との比率が一定に収束する確率について検討する。
具体的には,単純なランダムサンプリングによる古典的結果を用いて,袋詰め予測器の2乗誤差損失下での予測リスクを分析する一般的な手法を提案する。
戦略を特化することで,任意の特徴共分散行列と信号ベクトルを持つ定型線形モデルの下で,任意の数のバッグを持つ袋付リッジおよびリッジレス予測器の正確な漸近的リスクを導出する。
さらに,バッグングの最適サブサンプルサイズを選択するための一般的なクロスバリデーション手順を規定し,サンプルサイズ(二重あるいは多重の降下)の制限リスクの非単調な挙動を排除するために,その実用性について議論する。
袋詰めリッジとリッジレス予測器に対する提案手法の実証において, 最適なサブサンプルサイズのオラクル特性を徹底的に検討し, 異なる袋詰めタイプ間の詳細な比較を行った。
関連論文リスト
- High-dimensional prediction for count response via sparse exponential weights [0.0]
本稿では,高次元カウントデータ予測のための新しい確率的機械学習フレームワークを提案する。
重要な貢献は、データ予測をカウントするために調整された新しいリスク尺度であり、PAC-ベイズ境界を用いた予測リスクの理論的な保証である。
以上の結果から,非漸近性オラクルの不等式や,空間性に関する事前知識を伴わない速度-最適予測誤差が示唆された。
論文 参考訳(メタデータ) (2024-10-20T12:45:42Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳(メタデータ) (2024-08-08T17:27:29Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。
正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。
また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
論文 参考訳(メタデータ) (2023-10-06T16:27:43Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
サブサンプリングに基づくリッジアンサンブルを比例法で検討した。
最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
論文 参考訳(メタデータ) (2023-04-25T17:43:27Z) - Extrapolated cross-validation for randomized ensembles [2.3609229325947885]
本稿では,ランダム化アンサンブルにおけるアンサンブルとサブアンブルサイズを調整するためのクロスバリデーション手法ECVを提案する。
我々は,ECVが2乗予測リスクに対して$delta$-Optimalアンサンブルを得られることを示す。
サンプル分割クロスバリデーションと$K$-foldクロスバリデーションと比較して、ECVはサンプル分割を避けて高い精度を達成する。
論文 参考訳(メタデータ) (2023-02-27T04:19:18Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - Estimating Gradients for Discrete Random Variables by Sampling without
Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。
推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文 参考訳(メタデータ) (2020-02-14T14:15:18Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳(メタデータ) (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。