論文の概要: Generalized equivalences between subsampling and ridge regularization
- arxiv url: http://arxiv.org/abs/2305.18496v2
- Date: Wed, 18 Oct 2023 02:14:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 20:11:35.926073
- Title: Generalized equivalences between subsampling and ridge regularization
- Title(参考訳): 部分サンプリングとリッジ正則化の一般同値
- Authors: Pratik Patil and Jin-Hong Du
- Abstract要約: アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。
我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
- 参考スコア(独自算出の注目度): 3.1346887720803505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish precise structural and risk equivalences between subsampling and
ridge regularization for ensemble ridge estimators. Specifically, we prove that
linear and quadratic functionals of subsample ridge estimators, when fitted
with different ridge regularization levels $\lambda$ and subsample aspect
ratios $\psi$, are asymptotically equivalent along specific paths in the
$(\lambda,\psi)$-plane (where $\psi$ is the ratio of the feature dimension to
the subsample size). Our results only require bounded moment assumptions on
feature and response distributions and allow for arbitrary joint distributions.
Furthermore, we provide a data-dependent method to determine the equivalent
paths of $(\lambda,\psi)$. An indirect implication of our equivalences is that
optimally tuned ridge regression exhibits a monotonic prediction risk in the
data aspect ratio. This resolves a recent open problem raised by Nakkiran et
al. for general data distributions under proportional asymptotics, assuming a
mild regularity condition that maintains regression hardness through linearized
signal-to-noise ratios.
- Abstract(参考訳): 我々は,アンサンブルリッジ推定器のサブサンプリングとリッジ正規化の正確な構造的およびリスク等価性を確立する。
具体的には、異なるリッジ正規化レベル$\lambda$とsubsampleアスペクト比$\psi$は、$(\lambda,\psi)$-plane(ここで$\psi$はサブサンプルサイズに対する特徴次元の比率である)の特定の経路に沿って漸近的に等価であることを示す。
その結果,特徴量分布と応答分布の有界モーメント仮定のみが必要となり,任意のジョイント分布が可能となった。
さらに、$(\lambda,\psi)$の等価パスを決定するためのデータ依存の方法も提供します。
我々の同値の間接的含意は、最適に調整されたリッジ回帰がデータアスペクト比において単調な予測リスクを示すことである。
これは、線形化された信号-雑音比を通じて回帰硬度を維持する穏やかな規則性条件を仮定して、比例漸近の下での一般的なデータ分布について、Nakkiranらによって最近提起されたオープンな問題を解決している。
関連論文リスト
- Precise Asymptotics of Bagging Regularized M-estimators [5.165142221427928]
我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。
我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。
サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
論文 参考訳(メタデータ) (2024-09-23T17:48:28Z) - Ensemble linear interpolators: The role of ensembling [5.135730286836428]
補間器は不安定であり、例えば mininum $ell$ norm least square interpolator はノイズの多いデータを扱う際にテストエラーを示す。
本研究では,アンサンブルの安定性について検討し,個々の補間器のサンプル外予測リスクによって測定されたアンサンブルの非有界性能を向上する。
論文 参考訳(メタデータ) (2023-09-06T20:38:04Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
サブサンプリングに基づくリッジアンサンブルを比例法で検討した。
最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
論文 参考訳(メタデータ) (2023-04-25T17:43:27Z) - Semi-parametric inference based on adaptively collected data [34.56133468275712]
データ収集における適応性を考慮した重み付き推定式を構築した。
本研究の結果は,正常性の保持に必要な「探索可能性」の度合いを特徴づけるものである。
我々は、標準線形帯域やスパース一般化帯域を含む様々な問題に対する具体的結果を用いて、我々の一般理論を説明する。
論文 参考訳(メタデータ) (2023-03-05T00:45:32Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳(メタデータ) (2020-06-15T08:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。