論文の概要: On the robustness of minimum-norm interpolators

• arxiv url: http://arxiv.org/abs/2012.00807v2
• Date: Wed, 20 Jan 2021 14:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 00:10:57.289946
• Title: On the robustness of minimum-norm interpolators
• Title（参考訳）: 最小ノルム補間器のロバスト性について
• Authors: Geoffrey Chinot, Matthias L\"offler and Sara van de Geer
• Abstract要約: 本稿では,線形モデルにおける最小ノルム補間推定器に関する一般理論を,加法的,潜在的に対角的,誤差の存在下で展開する。 誤差の最小ノルム補間子のラデマッハノルムと、真のパラメータの周りの部分微分の形状に関する、予測誤差の定量的境界が与えられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article develops a general theory for minimum-norm interpolated estimators in linear models in the presence of additive, potentially adversarial, errors. In particular, no conditions on the errors are imposed. A quantitative bound for the prediction error is given, relating it to the Rademacher complexity of the covariates, the norm of the minimum norm interpolator of the errors and the shape of the subdifferential around the true parameter. The general theory is illustrated with several examples: the sparse linear model with minimum $\ell_1$-norm or group Lasso penalty interpolation, the low rank trace regression model with nuclear norm minimization, and minimum Euclidean norm interpolation in the linear model. In case of sparsity or low-rank inducing norms, minimum norm interpolation yields a prediction error of the order of the average noise level, provided that the overparameterization is at least a logarithmic factor larger than the number of samples. Lower bounds that show near optimality of the results complement the analysis.
• Abstract（参考訳）: 本稿では,線形モデルにおける最小ノルム補間推定器の加法的,潜在的に対角的,誤差の存在下での一般理論を開発する。 特に、エラーに関する条件は課されていない。 予測誤差に対する定量的境界が与えられ、コ変量体のラデマシェ複雑性、誤差の最小ノルム補間器のノルム、真のパラメータの周りの部分微分の形状に関係している。 一般理論は、最小の $\ell_1$-norm または group lasso penalty interpolation を持つスパース線形モデル、核ノルム最小化を伴う低ランクトレース回帰モデル、線形モデルにおける最小ユークリッドノルム補間など、いくつかの例で示される。 疎度または低ランク誘導ノルムの場合、最小ノルム補間は、オーバーパラメータ化が少なくともサンプル数よりも大きい対数係数であることを仮定して、平均ノイズレベルの順序の予測誤差をもたらす。 結果の最適に近い値を示す下限は解析を補完する。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices [10.377683220196873]
  共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。 スパイク共分散モデルにおける最適偏微分的主成分分析(PCA)と共分散推定について検討した。 計算効率のよい微分プライベート推定器を提案し、その極小極小性をガウス分布に対して証明する。
  論文  参考訳（メタデータ） (2024-01-08T11:18:14Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• On Uniform Convergence and Low-Norm Interpolation Learning [25.96459928769678]
  経験的誤差と人口的誤差の差を均一に有界に表すことは,標準球における学習を全く示さないことを示す。 我々は、最小限のノルム補間器の整合性は、わずかに弱いが標準的概念、つまり標準球におけるゼロエラー予測器の一様収束で説明できると主張している。
  論文  参考訳（メタデータ） (2020-06-10T16:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。