論文の概要: Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation
- arxiv url: http://arxiv.org/abs/2304.13016v2
- Date: Sun, 16 Jul 2023 09:38:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:42:01.176352
- Title: Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation
- Title(参考訳): サブサンプルリッジアンサンブル:同値と一般化されたクロスバリデーション
- Authors: Jin-Hong Du, Pratik Patil, Arun Kumar Kuchibhotla
- Abstract要約: サブサンプリングに基づくリッジアンサンブルを比例法で検討した。
最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
- 参考スコア(独自算出の注目度): 4.87717454493713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study subsampling-based ridge ensembles in the proportional asymptotics
regime, where the feature size grows proportionally with the sample size such
that their ratio converges to a constant. By analyzing the squared prediction
risk of ridge ensembles as a function of the explicit penalty $\lambda$ and the
limiting subsample aspect ratio $\phi_s$ (the ratio of the feature size to the
subsample size), we characterize contours in the $(\lambda, \phi_s)$-plane at
any achievable risk. As a consequence, we prove that the risk of the optimal
full ridgeless ensemble (fitted on all possible subsamples) matches that of the
optimal ridge predictor. In addition, we prove strong uniform consistency of
generalized cross-validation (GCV) over the subsample sizes for estimating the
prediction risk of ridge ensembles. This allows for GCV-based tuning of full
ridgeless ensembles without sample splitting and yields a predictor whose risk
matches optimal ridge risk.
- Abstract(参考訳): 本研究では, 比例漸近状態におけるサブサンプリングに基づく隆起アンサンブルについて検討し, 比例比が一定となるような試料径に比例して特徴量が大きくなることを示した。
リッジアンサンブルの2乗予測リスクを明示的なペナルティ$\lambda$と制限サブサンプルアスペクト比$\phi_s$(特徴サイズとサブサンプルサイズとの比率)の関数として解析することにより、達成可能なリスクで$(\lambda, \phi_s)$プレーンの輪郭を特徴づける。
その結果、最適なリッジレスアンサンブル(すべての可能なサブサンプルに適合する)のリスクが、最適なリッジ予測器のそれと一致することを証明した。
さらに,リッジアンサンブルの予測リスクを推定するためのサブサンプルサイズに対して,一般クロスバリデーション(GCV)の強い均一性を示す。
これにより、サンプル分割なしでGCVベースのフルリッジレスアンサンブルのチューニングが可能となり、リスクが最適リッジリスクと一致する予測器が得られる。
関連論文リスト
- Asymptotically free sketched ridge ensembles: Risks, cross-validation,
and tuning [6.253060482883244]
我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。
正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。
また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
論文 参考訳(メタデータ) (2023-10-06T16:27:43Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。
我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
論文 参考訳(メタデータ) (2023-05-29T14:05:51Z) - Extrapolated cross-validation for randomized ensembles [2.3609229325947885]
本稿では,ランダム化アンサンブルにおけるアンサンブルとサブアンブルサイズを調整するためのクロスバリデーション手法ECVを提案する。
我々は,ECVが2乗予測リスクに対して$delta$-Optimalアンサンブルを得られることを示す。
サンプル分割クロスバリデーションと$K$-foldクロスバリデーションと比較して、ECVはサンプル分割を避けて高い精度を達成する。
論文 参考訳(メタデータ) (2023-02-27T04:19:18Z) - Sketched Ridgeless Linear Regression: The Role of Downsampling [5.615701056715101]
スケッチしたリッジレス最小2乗推定器のサンプル外予測リスクを2つ検討した。
サンプル外予測リスクを最小限に抑える最適なスケッチサイズを同定する。
我々は解析を拡張し、中心極限定理と不特定モデルをカバーする。
論文 参考訳(メタデータ) (2023-02-02T13:21:09Z) - Bagging in overparameterized learning: Risk characterization and risk
monotonization [2.6534407766508177]
本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。
具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
論文 参考訳(メタデータ) (2022-10-20T17:45:58Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳(メタデータ) (2022-03-31T05:19:38Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。