論文の概要: Sketched Ridgeless Linear Regression: The Role of Downsampling

• arxiv url: http://arxiv.org/abs/2302.01088v2
• Date: Fri, 13 Oct 2023 21:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:20:16.574617
• Title: Sketched Ridgeless Linear Regression: The Role of Downsampling
• Title（参考訳）: リッジレス線形回帰のスケッチ:ダウンサンプリングの役割
• Authors: Xin Chen, Yicheng Zeng, Siyue Yang, Qiang Sun
• Abstract要約: スケッチしたリッジレス最小2乗推定器のサンプル外予測リスクを2つ検討した。 サンプル外予測リスクを最小限に抑える最適なスケッチサイズを同定する。 我々は解析を拡張し、中心極限定理と不特定モデルをカバーする。
• 参考スコア（独自算出の注目度）: 5.615701056715101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparametrization often helps improve the generalization performance. This paper presents a dual view of overparametrization suggesting that downsampling may also help generalize. Focusing on the proportional regime $m\asymp n \asymp p$, where $m$ represents the sketching size, $n$ is the sample size, and $p$ is the feature dimensionality, we investigate two out-of-sample prediction risks of the sketched ridgeless least square estimator. Our findings challenge conventional beliefs by showing that downsampling does not always harm generalization but can actually improve it in certain cases. We identify the optimal sketching size that minimizes out-of-sample prediction risks and demonstrate that the optimally sketched estimator exhibits stabler risk curves, eliminating the peaks of those for the full-sample estimator. To facilitate practical implementation, we propose an empirical procedure to determine the optimal sketching size. Finally, we extend our analysis to cover central limit theorems and misspecified models. Numerical studies strongly support our theory.
• Abstract（参考訳）: オーバーパラメトリゼーションは、しばしば一般化性能を改善するのに役立つ。 本稿では, オーバーパラメトリゼーションの双対的視点から, ダウンサンプリングが一般化の助けとなることを示唆する。 m$ はスケッチサイズを表し、$n$ はサンプルサイズ、$p$ は特徴次元を表す比例構造 $m\asymp n \asymp p$ に焦点を当て、スケッチされたリッジレス最小二乗推定器の2つの予想外予測リスクを調査した。 本研究は, ダウンサンプリングが必ずしも一般化を損なうものではなく, 実際に改善できることを示すことによって, 従来の信念に挑戦するものである。 提案手法では,推定リスクを最小化する最適スケッチサイズを特定し,最適スケッチ推定器がより安定なリスク曲線を示し,全サンプル推定器のピークをなくすことを実証する。 そこで本研究では,最適なスケッチサイズを決定するための経験的手法を提案する。 最後に、我々は解析を拡張し、中心極限定理と不特定モデルをカバーする。 数値的研究は我々の理論を強く支持している。

関連論文リスト

• Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
  我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
  論文  参考訳（メタデータ） (2023-10-06T16:27:43Z)
• Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation [4.87717454493713]
  サブサンプリングに基づくリッジアンサンブルを比例法で検討した。 最適尾根なしアンサンブルのリスクが最適尾根予測器のリスクと一致することを証明した。
  論文  参考訳（メタデータ） (2023-04-25T17:43:27Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives [1.0152838128195465]
  acrshortfdは、高精度の解が得られる反復的なスキームによって最適化設定に利用できることを示す。 これは、収束のスピードで、イテレーション毎に新しいスケッチの必要性を妥協する必要のあるランダム化されたアプローチを改善する。
  論文  参考訳（メタデータ） (2020-11-06T21:40:38Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。