論文の概要: Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning

• arxiv url: http://arxiv.org/abs/2310.04357v2
• Date: Tue, 26 Dec 2023 09:17:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-28 01:36:13.637485
• Title: Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning
• Title（参考訳）: 漸近的にフリーなスケッチリッジアンサンブル:リスク、クロスバリデーション、チューニング
• Authors: Pratik Patil, Daniel LeJeune
• Abstract要約: 我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
• 参考スコア（独自算出の注目度）: 6.253060482883244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We employ random matrix theory to establish consistency of generalized cross validation (GCV) for estimating prediction risks of sketched ridge regression ensembles, enabling efficient and consistent tuning of regularization and sketching parameters. Our results hold for a broad class of asymptotically free sketches under very mild data assumptions. For squared prediction risk, we provide a decomposition into an unsketched equivalent implicit ridge bias and a sketching-based variance, and prove that the risk can be globally optimized by only tuning sketch size in infinite ensembles. For general subquadratic prediction risk functionals, we extend GCV to construct consistent risk estimators, and thereby obtain distributional convergence of the GCV-corrected predictions in Wasserstein-2 metric. This in particular allows construction of prediction intervals with asymptotically correct coverage conditional on the training data. We also propose an "ensemble trick" whereby the risk for unsketched ridge regression can be efficiently estimated via GCV using small sketched ridge ensembles. We empirically validate our theoretical results using both synthetic and real large-scale datasets with practical sketches including CountSketch and subsampled randomized discrete cosine transforms.
• Abstract（参考訳）: ランダム行列理論を用いて一般化クロス検証 (gcv) の一貫性を確立し, スケッチリッジ回帰アンサンブルの予測リスクを推定し, 正規化とスケッチパラメータの効率的かつ一貫したチューニングを可能にした。 その結果、非常に穏やかなデータ仮定の下で、漸近的にフリーなスケッチの幅広いクラスが得られた。 正方形の予測リスクに対して,無意味な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルでスケッチサイズをチューニングするだけで,そのリスクを大域的に最適化できることを示す。 一般の準4次予測リスク関数に対しては、GCVを拡張して一貫したリスク推定器を構築し、ワッサーシュタイン2計量におけるGCV補正予測の分布収束を得る。 これは特に、トレーニングデータに漸近的に正しいカバレッジ条件で予測間隔を構築することができる。 また,小型のスケッチ付き尾根アンサンブルを用いて,GCVを用いて非スケッチリッジ回帰のリスクを効率的に推定できる「アンサンブルトリック」を提案する。 提案手法は, 合成データと実データの両方を, カウントスケッチ, サブサンプル化離散コサイン変換などの実用的なスケッチを用いて実験的に検証する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Corrected generalized cross-validation for finite ensembles of penalized estimators [5.165142221427927]
  Generalized Cross-Vidation (GCV) は、正方形外乱予測リスクを推定するための広く使われている手法である。 GCV は 1 以上の大きさの有限アンサンブルに対して不整合であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T17:38:54Z)
• Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
  サブサンプリングに基づくリッジアンサンブルを比例法で検討した。 最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
  論文  参考訳（メタデータ） (2023-04-25T17:43:27Z)
• Extrapolated cross-validation for randomized ensembles [2.3609229325947885]
  本稿では,ランダム化アンサンブルにおけるアンサンブルとサブアンブルサイズを調整するためのクロスバリデーション手法ECVを提案する。 我々は,ECVが2乗予測リスクに対して$delta$-Optimalアンサンブルを得られることを示す。 サンプル分割クロスバリデーションと$K$-foldクロスバリデーションと比較して、ECVはサンプル分割を避けて高い精度を達成する。
  論文  参考訳（メタデータ） (2023-02-27T04:19:18Z)
• Bagging in overparameterized learning: Risk characterization and risk monotonization [2.6534407766508177]
  本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。 具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-20T17:45:58Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。