論文の概要: Bagging in overparameterized learning: Risk characterization and risk monotonization

• arxiv url: http://arxiv.org/abs/2210.11445v1
• Date: Thu, 20 Oct 2022 17:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 15:51:28.842475
• Title: Bagging in overparameterized learning: Risk characterization and risk monotonization
• Title（参考訳）: 過パラメータ学習におけるバギング:リスク特性とリスク単調化
• Authors: Pratik Patil, Jin-Hong Du, Arun Kumar Kuchibhotla
• Abstract要約: バギング(英: Bagging)は、統計学と機械学習において、予測手順の性能を改善するために一般的に用いられるアンサンブル技法である。 本研究では, 特徴量と観測回数の比率が一定値に収束する比例オーラクレス系において, タグ付き予測器の変種予測リスクについて検討した。
• 参考スコア（独自算出の注目度）: 4.87717454493713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bagging is a commonly used ensemble technique in statistics and machine learning to improve the performance of prediction procedures. In this paper, we study the prediction risk of variants of bagged predictors in the proportional asymptotics regime, in which the ratio of the number of features to the number of observations converges to a constant. Specifically, we propose a general strategy to analyze prediction risk under squared error loss of bagged predictors using classical results on simple random sampling. Specializing the strategy, we derive the exact asymptotic risk of the bagged ridge and ridgeless predictors with an arbitrary number of bags under a well-specified linear model with arbitrary feature covariance matrices and signal vectors. Furthermore, we prescribe a generic cross-validation procedure to select the optimal subsample size for bagging and discuss its utility to mitigate the non-monotonic behavior of the limiting risk in the sample size (i.e., double or multiple descents). In demonstrating the proposed procedure for bagged ridge and ridgeless predictors, we thoroughly investigate oracle properties of the optimal subsample size, and provide an in-depth comparison between different bagging variants.
• Abstract（参考訳）: バギング(英: Bagging)は、統計学と機械学習において、予測手順の性能を改善するために一般的に用いられるアンサンブル技法である。 本稿では,特徴量と観測回数の比率が一定値に収束する比例漸近系において,バッジ予測器の変種予測リスクについて検討する。 具体的には,単純なランダムサンプリングにおける古典的結果を用いて,袋詰め予測器の2乗誤差損失下での予測リスクを分析する一般的な戦略を提案する。 戦略を特化することで,任意の特徴共分散行列と信号ベクトルを持つ定型線形モデルの下で,任意の数のバッグを持つ袋付リッジおよびリッジレス予測器の正確な漸近的リスクを導出する。 さらに,袋詰めの最適サブサンプルサイズを選定する汎用クロスバリデーション手順を定式化し,サンプルサイズ(すなわち二重または複数降下)における限界リスクの非単調な挙動を緩和するための有用性について検討した。 袋詰めリッジとリッジレス予測器に対する提案手法の実証において,oracle の最適サブサンプルサイズ特性を徹底的に検討し,異なる袋詰めタイプ間の詳細な比較を行った。

関連論文リスト

• High-dimensional prediction for count response via sparse exponential weights [0.0]
  本稿では,高次元カウントデータ予測のための新しい確率的機械学習フレームワークを提案する。 重要な貢献は、データ予測をカウントするために調整された新しいリスク尺度であり、PAC-ベイズ境界を用いた予測リスクの理論的な保証である。 以上の結果から,非漸近性オラクルの不等式や,空間性に関する事前知識を伴わない速度-最適予測誤差が示唆された。
  論文  参考訳（メタデータ） (2024-10-20T12:45:42Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
  我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
  論文  参考訳（メタデータ） (2023-10-06T16:27:43Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
  サブサンプリングに基づくリッジアンサンブルを比例法で検討した。 最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
  論文  参考訳（メタデータ） (2023-04-25T17:43:27Z)
• Extrapolated cross-validation for randomized ensembles [2.3609229325947885]
  本稿では,ランダム化アンサンブルにおけるアンサンブルとサブアンブルサイズを調整するためのクロスバリデーション手法ECVを提案する。 我々は,ECVが2乗予測リスクに対して$delta$-Optimalアンサンブルを得られることを示す。 サンプル分割クロスバリデーションと$K$-foldクロスバリデーションと比較して、ECVはサンプル分割を避けて高い精度を達成する。
  論文  参考訳（メタデータ） (2023-02-27T04:19:18Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。