Fugu-MT 論文翻訳(概要): Interpolation can hurt robust generalization even when there is no noise

論文の概要: Interpolation can hurt robust generalization even when there is no noise

arxiv url: http://arxiv.org/abs/2108.02883v1
Date: Thu, 5 Aug 2021 23:04:15 GMT
ステータス: 処理完了
システム内更新日: 2021-08-09 14:41:27.222463
Title: Interpolation can hurt robust generalization even when there is no noise
Title（参考訳）: 補間は雑音がなくてもロバストな一般化を損なう
Authors: Konstantin Donhauser, Alexandru \c{T}ifrea, Michael Aerni, Reinhard Heckel and Fanny Yang
Abstract要約: リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
参考スコア（独自算出の注目度）: 76.3492338989419
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Numerous recent works show that overparameterization implicitly reduces variance for min-norm interpolators and max-margin classifiers. These findings suggest that ridge regularization has vanishing benefits in high dimensions. We challenge this narrative by showing that, even in the absence of noise, avoiding interpolation through ridge regularization can significantly improve generalization. We prove this phenomenon for the robust risk of both linear regression and classification and hence provide the first theoretical result on robust overfitting.
Abstract（参考訳）: 近年の多くの研究は、過パラメータ化が最小ノルム補間器と最大マルジン分類器の分散を暗黙的に減少させることを示している。これらの結果はリッジ正規化が高次元の利益を消滅させることを示唆している。ノイズがなくても、リッジ正規化による補間を避けることで、一般化を大幅に改善できることを示す。この現象を線形回帰と分類の両方のロバストなリスクに対して証明し,ロバストなオーバーフィッティングに関する最初の理論的結果を与える。

関連論文リスト

Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation [12.455342327482223]
臨界点の観点から収束正則化の一般化された定式化を提案する。これは弱凸正規化器のクラスによって達成されることを示す。この理論を正規化学習に適用し、入力の弱い凸ニューラルネットワークに対する普遍的な近似を証明した。
論文参考訳（メタデータ） (2024-02-01T22:54:45Z)
Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文参考訳（メタデータ） (2023-12-26T10:55:20Z)
Strong inductive biases provably prevent harmless interpolation [8.946655323517092]
本論文は, 推定者の帰納バイアスの強さに無害な程度の影響が及ぶことを論じる。我々の主理論的結果は、高次元のカーネル回帰に対する厳密な非漸近境界を確立する。
論文参考訳（メタデータ） (2023-01-18T15:37:11Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文参考訳（メタデータ） (2022-10-21T16:16:55Z)
Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。条件付き推定は必然的に既約誤差を生じさせることを示す。経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
論文参考訳（メタデータ） (2022-06-21T17:46:35Z)
Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文参考訳（メタデータ） (2022-06-02T15:21:55Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。