論文の概要: PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust Generalization

• arxiv url: http://arxiv.org/abs/2310.06182v2
• Date: Sat, 28 Oct 2023 17:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 19:48:30.252060
• Title: PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust Generalization
• Title（参考訳）: 逆ロバスト一般化のためのpac-ベイズスペクトル正規化境界
• Authors: Jiancong Xiao, Ruoyu Sun, Zhi- Quan Luo
• Abstract要約: ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。 敵の攻撃に対する防衛アルゴリズムを確立するには 敵の強固な一般化が不可欠だ 本稿では、PAC-Bayesアプローチに基づくノルムに基づく摂動の複雑さに焦点を当てる。
• 参考スコア（独自算出の注目度）: 25.272738030198862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are vulnerable to adversarial attacks. It is found empirically that adversarially robust generalization is crucial in establishing defense algorithms against adversarial attacks. Therefore, it is interesting to study the theoretical guarantee of robust generalization. This paper focuses on norm-based complexity, based on a PAC-Bayes approach (Neyshabur et al., 2017). The main challenge lies in extending the key ingredient, which is a weight perturbation bound in standard settings, to the robust settings. Existing attempts heavily rely on additional strong assumptions, leading to loose bounds. In this paper, we address this issue and provide a spectrally-normalized robust generalization bound for DNNs. Compared to existing bounds, our bound offers two significant advantages: Firstly, it does not depend on additional assumptions. Secondly, it is considerably tighter, aligning with the bounds of standard generalization. Therefore, our result provides a different perspective on understanding robust generalization: The mismatch terms between standard and robust generalization bounds shown in previous studies do not contribute to the poor robust generalization. Instead, these disparities solely due to mathematical issues. Finally, we extend the main result to adversarial robustness against general non-$\ell_p$ attacks and other neural network architectures.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。 敵の攻撃に対する防御アルゴリズムを確立するためには、敵の堅牢な一般化が不可欠である。 したがって、ロバスト一般化の理論的保証を研究することは興味深い。 本稿では,PAC-Bayesアプローチ(Neyshabur et al., 2017)に基づくノルムベースの複雑性に焦点を当てた。 主な課題は、標準設定に縛られた重みの摂動である主要な要素を堅牢な設定に拡張することである。 既存の試みは追加の強い仮定に大きく依存しており、ゆるい境界に繋がる。 本稿では,この問題に対処し,dnnに束縛されたスペクトル正規化ロバスト一般化を提案する。 既存の境界と比較すると、我々の境界には2つの大きな利点がある: 第一に、それは追加の仮定に依存しない。 第二に、標準一般化の境界に沿って、かなり厳密である。 したがって,本研究では,標準一般化限界とロバスト一般化境界のミスマッチ項は,ロバスト一般化の貧弱さに寄与しないという,ロバスト一般化の理解に関する異なる視点を提供する。 その代わり、これらの相違は数学的な問題によるものである。 最後に、一般の$$\ell_p$攻撃と他のニューラルネットワークアーキテクチャに対する敵対的堅牢性に対して、主要な結果を拡張する。

関連論文リスト

• Bridging the Gap: Rademacher Complexity in Robust and Standard Generalization [29.044914673801856]
  ディープニューラルネットワーク(DNN)を敵の例で訓練すると、テストタイムの敵データに対する一般化が不十分になることが多い。 本稿では,Rademacher複雑性のレンズを用いてこの問題を考察する。 本研究の目的は,1) 敵の例との互換性,2) 標準設定で使用されるカバーに匹敵する精度の2つの特性を持つ新しいカバーを構築することである。
  論文  参考訳（メタデータ） (2024-06-08T06:45:19Z)
• PAC-Bayesian Adversarially Robust Generalization Bounds for Graph Neural Network [5.340644246815989]
  グラフニューラルネットワーク(GNN)は敵の攻撃に対して脆弱である。 本稿では,2種類の人気GNNに対して,逆向きに頑健な一般化境界を提供する。
  論文  参考訳（メタデータ） (2024-02-06T14:34:17Z)
• Enhance Diffusion to Improve Robust Generalization [39.9012723077658]
  emphAdversarial Training (AT)は、敵の摂動に対する最も強力な防御機構の1つである。 本稿では, 第一のATフレームワークであるGD-AT(Projected Gradient Descent Adversarial Training)に焦点を当てる。 本稿では,分散項を操作し,計算負荷を実質的に伴わない堅牢な一般化を改善するための新しい手法であるemphDiffusion Enhanced Adversarial Training (DEAT)を提案する。
  論文  参考訳（メタデータ） (2023-06-05T06:36:18Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
  我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。 この問題に対処するための構成戦略を提案する。 構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-02-20T02:50:09Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• On the generalization of bayesian deep nets for multi-class classification [27.39403411896995]
  我々は,Log-Sobolevの不等式の縮約性を利用して,ベイズ深度ネットの新たな一般化を提案する。 これらの不等式を使用すると、一般化境界に損失次数ノルム項が加わり、これは直感的にはモデルの複雑性の代用である。
  論文  参考訳（メタデータ） (2020-02-23T09:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。