論文の概要: On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds
- arxiv url: http://arxiv.org/abs/2410.16073v1
- Date: Mon, 21 Oct 2024 14:53:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:19:24.930877
- Title: On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds
- Title（参考訳）: 逆行訓練における正規化の幾何学:高次元漸近と一般化境界
- Authors: Matteo Vilucchio, Nikolaos Tsilivis, Bruno Loureiro, Julia Kempe,
- Abstract要約: 本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
- 参考スコア（独自算出の注目度）: 11.30047438005394
- License:
- Abstract: Regularization, whether explicit in terms of a penalty in the loss or implicit in the choice of algorithm, is a cornerstone of modern machine learning. Indeed, controlling the complexity of the model class is particularly important when data is scarce, noisy or contaminated, as it translates a statistical belief on the underlying structure of the data. This work investigates the question of how to choose the regularization norm $\lVert \cdot \rVert$ in the context of high-dimensional adversarial training for binary classification. To this end, we first derive an exact asymptotic description of the robust, regularized empirical risk minimizer for various types of adversarial attacks and regularization norms (including non-$\ell_p$ norms). We complement this analysis with a uniform convergence analysis, deriving bounds on the Rademacher Complexity for this class of problems. Leveraging our theoretical results, we quantitatively characterize the relationship between perturbation size and the optimal choice of $\lVert \cdot \rVert$, confirming the intuition that, in the data scarce regime, the type of regularization becomes increasingly important for adversarial training as perturbations grow in size.
- Abstract（参考訳）: 正規化は、損失のペナルティが明示的であるか、アルゴリズムの選択が暗黙的であるかに関わらず、現代の機械学習の基盤となる。
実際、データの構造に関する統計的信念を翻訳するため、データが不足し、ノイズがあり、汚染されている場合、モデルクラスの複雑さを制御することは特に重要である。
本研究では,正則化ノルム $\lVert \cdot \rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
この目的のために、我々はまず、様々な種類の敵攻撃と正規化ノルム(非$\ell_p$ノルムを含む)に対する頑健で規則化された経験的リスク最小化器の正確な漸近的記述を導出した。
我々はこの解析を一様収束解析で補完し、この問題のクラスに対するラデマッハ複素性(英語版)の有界性(英語版)を導出する。
理論的な結果を利用して、摂動サイズと$\lVert \cdot \rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になることを示す。
関連論文リスト
- Regularization for Adversarial Robust Learning [18.46110328123008]
我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。
この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。
本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
論文 参考訳（メタデータ） (2024-08-19T03:15:41Z) - Semi-parametric inference based on adaptively collected data [34.56133468275712]
データ収集における適応性を考慮した重み付き推定式を構築した。
本研究の結果は,正常性の保持に必要な「探索可能性」の度合いを特徴づけるものである。
我々は、標準線形帯域やスパース一般化帯域を含む様々な問題に対する具体的結果を用いて、我々の一般理論を説明する。
論文 参考訳（メタデータ） (2023-03-05T00:45:32Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Towards Data-Algorithm Dependent Generalization: a Case Study on
Overparameterized Linear Regression [19.047997113063147]
本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。
我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
論文 参考訳（メタデータ） (2022-02-12T12:42:36Z) - Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。
本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
論文 参考訳（メタデータ） (2021-12-31T00:27:31Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z) - Precise Statistical Analysis of Classification Accuracies for
Adversarial Training [43.25761725062367]
この問題を治療するために、近年、様々な敵の訓練手順が提案されている。
我々は,逆向きに訓練されたミニマックスモデルの標準とロバストな精度を正確に評価する。
論文 参考訳（メタデータ） (2020-10-21T18:00:53Z) - Failures of model-dependent generalization bounds for least-norm
interpolation [39.97534972432276]
最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。
訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
論文 参考訳（メタデータ） (2020-10-16T16:30:05Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳（メタデータ） (2020-06-15T21:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。