論文の概要: Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression

• arxiv url: http://arxiv.org/abs/2112.04470v1
• Date: Wed, 8 Dec 2021 18:55:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:28:58.180259
• Title: Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression
• Title（参考訳）: 最適率:線形回帰における補間学習と正規化の統一理論
• Authors: Lijia Zhou and Frederic Koehler and Danica J. Sutherland and Nathan Srebro
• Abstract要約: 我々は「最適化率」として知られる一様収束の局所的概念を研究する。 改良された解析は既存の結果の隠れ定数と対数係数を回避している。
• 参考スコア（独自算出の注目度）: 35.78863301525758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a localized notion of uniform convergence known as an "optimistic rate" (Panchenko 2002; Srebro et al. 2010) for linear regression with Gaussian data. Our refined analysis avoids the hidden constant and logarithmic factor in existing results, which are known to be crucial in high-dimensional settings, especially for understanding interpolation learning. As a special case, our analysis recovers the guarantee from Koehler et al. (2021), which tightly characterizes the population risk of low-norm interpolators under the benign overfitting conditions. Our optimistic rate bound, though, also analyzes predictors with arbitrary training error. This allows us to recover some classical statistical guarantees for ridge and LASSO regression under random designs, and helps us obtain a precise understanding of the excess risk of near-interpolators in the over-parameterized regime.
• Abstract（参考訳）: ガウスデータによる線形回帰に対して、「最適化率」(Panchenko 2002; Srebro et al. 2010)として知られる一様収束の局所的概念を研究する。 特に補間学習の理解において特に高次元の設定において重要であることが知られている既存の結果の隠れ定数と対数係数を回避する。 特例として,本分析では,良性過剰条件下での低ノルム補間器の集団リスクを強く特徴づけるKoehler et al. (2021) の保証を回復する。 しかし、楽観的な速度は、任意のトレーニングエラーで予測者を分析する。 これにより、ランダムな設計下でのリッジとLASSOの回帰に関する古典的な統計的保証を回復することができ、過度なパラメータ化状態における近補間子の過剰なリスクを正確に把握するのに役立つ。

関連論文リスト

• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view [0.0]
  EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-13T14:56:52Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Differentially Private Regression with Unbounded Covariates [19.646866014320608]
  我々は,Last Squares Fitting,Binary Regression,Linear Regressionの古典的回帰設定に対して,差分プライベートなアルゴリズムを提供する。 我々は、ロジスティック回帰と線形分離可能なSVMの基本モデルと広く研究されているモデルを捉え、真の回帰ベクトルの偏りのない推定を学習する。
  論文  参考訳（メタデータ） (2022-02-19T17:31:38Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。