論文の概要: Adversarial Learning Guarantees for Linear Hypotheses and Neural
Networks
- arxiv url: http://arxiv.org/abs/2004.13617v1
- Date: Tue, 28 Apr 2020 15:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 22:24:43.119679
- Title: Adversarial Learning Guarantees for Linear Hypotheses and Neural
Networks
- Title（参考訳）: 線形仮説とニューラルネットワークのための逆学習保証
- Authors: Pranjal Awasthi, Natalie Frank, Mehryar Mohri
- Abstract要約: 線形仮説の対角的経験的ラデマチャー複雑性に対して, 上下境界を与える。
我々は解析を拡張し、1つのReLUユニットに対してRadecherの複雑性を下限と上限に設定する。
最後に、1つの隠蔽層を持つフィードフォワードニューラルネットワークに対して、逆ラデマチャー複雑性境界を与える。
- 参考スコア（独自算出の注目度）: 45.06091849856641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial or test time robustness measures the susceptibility of a
classifier to perturbations to the test input. While there has been a flurry of
recent work on designing defenses against such perturbations, the theory of
adversarial robustness is not well understood. In order to make progress on
this, we focus on the problem of understanding generalization in adversarial
settings, via the lens of Rademacher complexity. We give upper and lower bounds
for the adversarial empirical Rademacher complexity of linear hypotheses with
adversarial perturbations measured in $l_r$-norm for an arbitrary $r \geq 1$.
This generalizes the recent result of [Yin et al.'19] that studies the case of
$r = \infty$, and provides a finer analysis of the dependence on the input
dimensionality as compared to the recent work of [Khim and Loh'19] on linear
hypothesis classes.
We then extend our analysis to provide Rademacher complexity lower and upper
bounds for a single ReLU unit. Finally, we give adversarial Rademacher
complexity bounds for feed-forward neural networks with one hidden layer.
Unlike previous works we directly provide bounds on the adversarial Rademacher
complexity of the given network, as opposed to a bound on a surrogate. A
by-product of our analysis also leads to tighter bounds for the Rademacher
complexity of linear hypotheses, for which we give a detailed analysis and
present a comparison with existing bounds.
- Abstract（参考訳）: 逆あるいはテスト時間の堅牢性は、テスト入力に対する摂動に対する分類器の感受性を測定する。
このような摂動に対する防御設計に関する最近の研究は盛んに行われているが、敵対的ロバスト性の理論はよく分かっていない。
そこで本研究では,Rademacher複雑性のレンズを通して,逆向きの設定における一般化の理解に焦点をあてる。
任意の$r \geq 1$ に対して$l_r$-norm で測定された逆摂動を伴う線形仮説の逆経験的ラデマッハ複雑性の上限と下限を与える。
これは [Yin et al.'19] の最近の結果を一般化し、$r = \infty$ のケースを研究し、線形仮説クラスにおける [Khim と Loh'19] の最近の研究と比較して入力次元性への依存をより詳細に分析する。
次に、分析を拡張して、1つのReLUユニットに対してRadecher複雑性を下限と上限に設定する。
最後に,1つの隠れ層を持つフィードフォワードニューラルネットワークに対して,逆ラデマッハ複雑性境界を与える。
以前の作品とは異なり、サロゲート上のバウンドとは対照的に、与えられたネットワークの逆ラデマッハ複雑性の境界を直接提供する。
我々の分析の副産物は、線形仮説のラデマッハ複雑性の厳密な境界にもつながり、そこでは詳細な解析を行い、既存の境界との比較を示す。
関連論文リスト
- On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳（メタデータ） (2023-02-24T01:03:56Z) - On the Hardness of Robustness Transfer: A Perspective from Rademacher
Complexity over Symmetric Difference Hypothesis Space [33.25614346461152]
我々は,クロスドメインの一般化を制御する重要な複雑性尺度,すなわち,対称差分仮説空間上の逆ラデマッハ複雑性を解析する。
線形モデルの場合、この複雑性の逆バージョンは常に非逆バージョンよりも大きいことを示す。
堅牢なドメイン適応は明らかに難しいが、ロバストな学習と標準ドメイン適応との間には肯定的な関係がある。
論文 参考訳（メタデータ） (2023-02-23T22:15:20Z) - Adversarial Rademacher Complexity of Deep Neural Networks [29.571059373990888]
頑健なモデルは、摂動訓練データと目に見えない摂動試験データの両方で良好に機能する。
我々は、ディープニューラルネットワークの逆ラデマチャー複雑性の最初の境界を提供する。
論文 参考訳（メタデータ） (2022-11-27T23:24:37Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - On the Rademacher Complexity of Linear Hypothesis Sets [45.06091849856641]
我々は、任意の$p geq 1$に対して $ell_p$-norm で有界な重みベクトルを持つ線形仮説クラスの族における経験的ラデマッハ複雑性を厳密に解析する。
これはこれらの仮説集合を用いた一般化の厳密な解析を提供し、鋭いデータ依存学習保証の導出を支援する。
論文 参考訳（メタデータ） (2020-07-21T19:08:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。