論文の概要: Precise Asymptotics of Bagging Regularized M-estimators

• arxiv url: http://arxiv.org/abs/2409.15252v1
• Date: Mon, 23 Sep 2024 17:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 13:52:58.700893
• Title: Precise Asymptotics of Bagging Regularized M-estimators
• Title（参考訳）: Bagging Regularized M-estimatorの精密漸近
• Authors: Takuya Koriyama, Pratik Patil, Jin-Hong Du, Kai Tan, Pierre C. Bellec,
• Abstract要約: 我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。 我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。 サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
• 参考スコア（独自算出の注目度）: 5.165142221427928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We characterize the squared prediction risk of ensemble estimators obtained through subagging (subsample bootstrap aggregating) regularized M-estimators and construct a consistent estimator for the risk. Specifically, we consider a heterogeneous collection of $M \ge 1$ regularized M-estimators, each trained with (possibly different) subsample sizes, convex differentiable losses, and convex regularizers. We operate under the proportional asymptotics regime, where the sample size $n$, feature size $p$, and subsample sizes $k_m$ for $m \in [M]$ all diverge with fixed limiting ratios $n/p$ and $k_m/n$. Key to our analysis is a new result on the joint asymptotic behavior of correlations between the estimator and residual errors on overlapping subsamples, governed through a (provably) contractible nonlinear system of equations. Of independent interest, we also establish convergence of trace functionals related to degrees of freedom in the non-ensemble setting (with $M = 1$) along the way, extending previously known cases for square loss and ridge, lasso regularizers. When specialized to homogeneous ensembles trained with a common loss, regularizer, and subsample size, the risk characterization sheds some light on the implicit regularization effect due to the ensemble and subsample sizes $(M,k)$. For any ensemble size $M$, optimally tuning subsample size yields sample-wise monotonic risk. For the full-ensemble estimator (when $M \to \infty$), the optimal subsample size $k^\star$ tends to be in the overparameterized regime $(k^\star \le \min\{n,p\})$, when explicit regularization is vanishing. Finally, joint optimization of subsample size, ensemble size, and regularization can significantly outperform regularizer optimization alone on the full data (without any subagging).
• Abstract（参考訳）: 我々は,アンサンブル推定器の正方形予測リスクを,正規化M-推定器(subagging,subsample bootstrap aggregating,subsample bootstrap aggregating,subsample bootstrap aggregating,subsample bootstrap aggregating,subsample bootstrap aggregating,subsample bootstrap aggregating)を用いて評価し,そのリスクに対する一貫した推定器を構築する。 具体的には、M \ge 1$ 正規化 M-推定器の不均一なコレクションを、それぞれ(おそらく異なる)サブサンプルサイズ、凸微分可能損失、凸正則化器で訓練する。 サンプルサイズが$n$、フィーチャーサイズが$p$、サブサンプルサイズが$k_m$ for $m \in [M]$で、固定制限比が$n/p$、$k_m/n$です。 我々の分析の鍵となるのは、重なり合う部分サンプル上の推定器と残留誤差の相関関係の合同漸近挙動に関する新しい結果である。 独立な利害関係では、非アンサンブル設定($M = 1$)における自由度に関連するトレース汎函数の収束も確立し、それまで知られていた平方損失とリッジのケースを拡張し、ラッソ正則化器(英語版)(lasso regularizers)を拡大する。 共通損失、正規化子、サブサンプルサイズで訓練された均質アンサンブルに特化すると、リスク評価はアンサンブルとサブサンプルサイズ$(M,k)$による暗黙の正規化効果にいくつかの光を放つ。 アンサンブルサイズが$M$の場合、サブサンプルサイズを最適に調整すると、サンプル単位のモノトニックリスクが生じる。 フルアンサンブル推定器 ($M \to \infty$ の場合) に対して、最適部分サンプルサイズ $k^\star$ は、明示正規化が消えるとき、過度にパラメータ化された状態 $(k^\star \le \min\{n,p\})$ に属する傾向にある。 最後に、サブサンプルサイズ、アンサンブルサイズ、正規化のジョイント最適化は、(サブゲージなしで)全データでのみレギュラーライザ最適化を著しく上回る。

関連論文リスト

• Demystifying SGD with Doubly Stochastic Gradients [13.033133586372612]
  一般条件下では、独立なミニバッチとランダムリシャッフルを併用した2重SGDの収束特性を確立する。 ランダムリシャッフルによりサブサンプリングノイズの複雑性依存性が向上することが証明された。
  論文  参考訳（メタデータ） (2024-06-03T01:13:19Z)
• The Sample Complexity of Gradient Descent in Stochastic Convex Optimization [14.268363583731848]
  フルバッチ勾配 Descent の一般化誤差は $tilde Theta(d/m + 1/sqrtm)$ であり、$d$ は次元、$m$ は標本サイズである。 これは、Emphworst型経験的リスク最小化器のサンプル複雑さと一致する。
  論文  参考訳（メタデータ） (2024-04-07T12:07:33Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
  アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。 我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
  論文  参考訳（メタデータ） (2023-05-29T14:05:51Z)
• Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
  サブサンプリングに基づくリッジアンサンブルを比例法で検討した。 最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
  論文  参考訳（メタデータ） (2023-04-25T17:43:27Z)
• Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
  確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。 トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
  論文  参考訳（メタデータ） (2023-03-30T02:51:00Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• On the Subbagging Estimation for Massive Data [10.902757578215255]
  本稿では,コンピュータのメモリ制約を伴うビッグデータ解析のためのサブバッキング(サブサンプル集約)推定手法を紹介する。 サイズ$N$のデータセット全体に対して、$m_N$サブサンプルはランダムに描画され、メモリ制約を満たすためにサブサンプルサイズ$k_Nll N$を持つ各サブサンプルは、交換なしで均一にサンプリングされる。 アメリカン航空のデータセットを分析して、サブバッキング推定が全サンプル推定に数値的に近く、メモリ制約下では計算速度が速いことを示す。
  論文  参考訳（メタデータ） (2021-02-28T21:38:22Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。