論文の概要: Understanding Overfitting in Adversarial Training via Kernel Regression

• arxiv url: http://arxiv.org/abs/2304.06326v2
• Date: Wed, 19 Apr 2023 10:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 16:42:47.629312
• Title: Understanding Overfitting in Adversarial Training via Kernel Regression
• Title（参考訳）: カーネル回帰による対人訓練におけるオーバーフィッティングの理解
• Authors: Teng Zhang, Kang Li
• Abstract要約: ニューラルネットワークの性能を高めるために、敵対的なトレーニングとノイズによるデータ拡張が広く採用されている。 本稿では,正規化回帰の文脈において,雑音を伴う逆行訓練とデータ拡張について検討する。
• 参考スコア（独自算出の注目度）: 16.49123079820378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training and data augmentation with noise are widely adopted techniques to enhance the performance of neural networks. This paper investigates adversarial training and data augmentation with noise in the context of regularized regression in a reproducing kernel Hilbert space (RKHS). We establish the limiting formula for these techniques as the attack and noise size, as well as the regularization parameter, tend to zero. Based on this limiting formula, we analyze specific scenarios and demonstrate that, without appropriate regularization, these two methods may have larger generalization error and Lipschitz constant than standard kernel regression. However, by selecting the appropriate regularization parameter, these two methods can outperform standard kernel regression and achieve smaller generalization error and Lipschitz constant. These findings support the empirical observations that adversarial training can lead to overfitting, and appropriate regularization methods, such as early stopping, can alleviate this issue.
• Abstract（参考訳）: ニューラルネットワークの性能を高めるために、逆トレーニングとノイズによるデータ拡張が広く採用されている。 本稿では,再生核ヒルベルト空間(rkhs)における正規化回帰の文脈における雑音を伴う逆訓練とデータ拡張について検討する。 攻撃と雑音の大きさ、正規化パラメータがゼロになる傾向にあるため、これらの手法の制限式を定式化します。 この制限公式に基づいて、特定のシナリオを分析し、適切な正規化がなければ、この2つの方法が標準カーネル回帰よりも大きな一般化誤差とリプシッツ定数を持つことを実証する。 しかし、適切な正規化パラメータを選択することで、これらの2つの方法は標準カーネル回帰よりも優れ、より小さな一般化誤差とリプシッツ定数を達成することができる。 これらの知見は、敵の訓練が過度な適合につながるという経験的観察を支持し、早期停止のような適切な正規化手法はこの問題を軽減することができる。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• When Does Re-initialization Work? [50.70297319284022]
  再初期化は、最近の研究における一般化を改善するために観察されている。 ディープラーニングの実践では広く採用されておらず、最先端のトレーニングプロトコルでもよく使用されている。 このことは、再初期化がいつ動作するのか、また、正規化技術と一緒に使うべきかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-06-20T21:23:15Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization [34.235007566913396]
  現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。 この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。 本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
  論文  参考訳（メタデータ） (2020-08-15T20:55:40Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。