論文の概要: Adversarial Rademacher Complexity of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2211.14966v1
• Date: Sun, 27 Nov 2022 23:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:32:55.296137
• Title: Adversarial Rademacher Complexity of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの逆ラセマチャー複雑性
• Authors: Jiancong Xiao, Yanbo Fan, Ruoyu Sun, Zhi-Quan Luo
• Abstract要約: 頑健なモデルは、摂動訓練データと目に見えない摂動試験データの両方で良好に機能する。 我々は、ディープニューラルネットワークの逆ラデマチャー複雑性の最初の境界を提供する。
• 参考スコア（独自算出の注目度）: 29.571059373990888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are vulnerable to adversarial attacks. Ideally, a robust model shall perform well on both the perturbed training data and the unseen perturbed test data. It is found empirically that fitting perturbed training data is not hard, but generalizing to perturbed test data is quite difficult. To better understand adversarial generalization, it is of great interest to study the adversarial Rademacher complexity (ARC) of deep neural networks. However, how to bound ARC in multi-layers cases is largely unclear due to the difficulty of analyzing adversarial loss in the definition of ARC. There have been two types of attempts of ARC. One is to provide the upper bound of ARC in linear and one-hidden layer cases. However, these approaches seem hard to extend to multi-layer cases. Another is to modify the adversarial loss and provide upper bounds of Rademacher complexity on such surrogate loss in multi-layer cases. However, such variants of Rademacher complexity are not guaranteed to be bounds for meaningful robust generalization gaps (RGG). In this paper, we provide a solution to this unsolved problem. Specifically, we provide the first bound of adversarial Rademacher complexity of deep neural networks. Our approach is based on covering numbers. We provide a method to handle the robustify function classes of DNNs such that we can calculate the covering numbers. Finally, we provide experiments to study the empirical implication of our bounds and provide an analysis of poor adversarial generalization.
• Abstract（参考訳）: ディープニューラルネットワークは敵の攻撃に弱い。 理想的には、頑健なモデルは、乱れたトレーニングデータと見えない乱れテストデータの両方でうまく機能する。 摂動トレーニングデータへの適合は困難ではないが,摂動テストデータへの一般化は極めて困難である。 敵の一般化をよりよく理解するために、ディープニューラルネットワークの敵のラデマチャー複雑性(ARC)を研究することが大きな関心事である。 しかし、ARCの定義における敵の損失の分析が困難であるため、多層膜におけるARCの束縛方法はほとんど不明である。 アークには2種類の試みがあった。 1つは、線形および1つの層の場合におけるARCの上界を提供することである。 しかし、これらのアプローチを多層ケースに拡張することは困難に思える。 もう一つの方法は、対向損失を修正し、多重層の場合のそのような代理損失に対してラデマッハ複雑性の上限を与えることである。 しかしながら、そのようなラデマッハ複雑性の変種は有意義な堅牢な一般化ギャップ(RGG)の有界であることが保証されていない。 本稿では、この未解決問題に対する解決策を提供する。 具体的には、ディープニューラルネットワークの逆ラデマチャー複雑性の最初の境界を提供する。 我々のアプローチは数字をカバーしている。 DNNの頑健な関数クラスを処理し、カバー数を計算する方法を提案する。 最後に,我々の境界に関する経験的含意を研究する実験を行い,逆一般化の貧弱さの分析を行う。

関連論文リスト

• Generalization and Risk Bounds for Recurrent Neural Networks [3.0638061480679912]
  我々は,バニラRNNに対する新しい一般化誤差を確立する。 我々は、様々な損失関数に適用可能なRademacher複雑性を計算する統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:49:06Z)
• Bridging the Gap: Rademacher Complexity in Robust and Standard Generalization [29.044914673801856]
  ディープニューラルネットワーク(DNN)を敵の例で訓練すると、テストタイムの敵データに対する一般化が不十分になることが多い。 本稿では,Rademacher複雑性のレンズを用いてこの問題を考察する。 本研究の目的は,1) 敵の例との互換性,2) 標準設定で使用されるカバーに匹敵する精度の2つの特性を持つ新しいカバーを構築することである。
  論文  参考訳（メタデータ） (2024-06-08T06:45:19Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• Certifiable Robustness for Nearest Neighbor Classifiers [6.487663563916903]
  単純で広くデプロイされた分類アルゴリズム、$k$-Nearest Neighbors(k$-NN)の認証の複雑さについて検討する。 制約が関数依存(FD)である場合には、一貫性のないデータセットに重点を置いています。 そこでは、あるラベルを予測する可能性のある世界の数を数えることが目的である。
  論文  参考訳（メタデータ） (2022-01-13T02:55:10Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Adversarial Learning Guarantees for Linear Hypotheses and Neural Networks [45.06091849856641]
  線形仮説の対角的経験的ラデマチャー複雑性に対して, 上下境界を与える。 我々は解析を拡張し、1つのReLUユニットに対してRadecherの複雑性を下限と上限に設定する。 最後に、1つの隠蔽層を持つフィードフォワードニューラルネットワークに対して、逆ラデマチャー複雑性境界を与える。
  論文  参考訳（メタデータ） (2020-04-28T15:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。