論文の概要: Bridging the Gap: Rademacher Complexity in Robust and Standard Generalization
- arxiv url: http://arxiv.org/abs/2406.05372v1
- Date: Sat, 8 Jun 2024 06:45:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 20:04:51.632427
- Title: Bridging the Gap: Rademacher Complexity in Robust and Standard Generalization
- Title（参考訳）: ギャップを埋める:ロバストにおけるラデマッハ複雑性と標準一般化
- Authors: Jiancong Xiao, Ruoyu Sun, Qi Long, Weijie J. Su,
- Abstract要約: ディープニューラルネットワーク(DNN)を敵の例で訓練すると、テストタイムの敵データに対する一般化が不十分になることが多い。
本稿では,Rademacher複雑性のレンズを用いてこの問題を考察する。
本研究の目的は,1) 敵の例との互換性,2) 標準設定で使用されるカバーに匹敵する精度の2つの特性を持つ新しいカバーを構築することである。
- 参考スコア（独自算出の注目度）: 29.044914673801856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training Deep Neural Networks (DNNs) with adversarial examples often results in poor generalization to test-time adversarial data. This paper investigates this issue, known as adversarially robust generalization, through the lens of Rademacher complexity. Building upon the studies by Khim and Loh (2018); Yin et al. (2019), numerous works have been dedicated to this problem, yet achieving a satisfactory bound remains an elusive goal. Existing works on DNNs either apply to a surrogate loss instead of the robust loss or yield bounds that are notably looser compared to their standard counterparts. In the latter case, the bounds have a higher dependency on the width $m$ of the DNNs or the dimension $d$ of the data, with an extra factor of at least $\mathcal{O}(\sqrt{m})$ or $\mathcal{O}(\sqrt{d})$. This paper presents upper bounds for adversarial Rademacher complexity of DNNs that match the best-known upper bounds in standard settings, as established in the work of Bartlett et al. (2017), with the dependency on width and dimension being $\mathcal{O}(\ln(dm))$. The central challenge addressed is calculating the covering number of adversarial function classes. We aim to construct a new cover that possesses two properties: 1) compatibility with adversarial examples, and 2) precision comparable to covers used in standard settings. To this end, we introduce a new variant of covering number called the \emph{uniform covering number}, specifically designed and proven to reconcile these two properties. Consequently, our method effectively bridges the gap between Rademacher complexity in robust and standard generalization.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)を敵の例で訓練すると、テストタイムの敵データに対する一般化が不十分になることが多い。
本稿では、Radecher複雑性のレンズを通して、逆向き堅牢な一般化として知られるこの問題を考察する。
Khim and Loh (2018) と Yin et al (2019) による研究に基づいて、この問題に多くの研究が注がれてきたが、満足できる限界を達成することは、いまだにあり得ない目標である。
既存のDNNの作業は、ロバストな損失ではなく、サロゲートの損失に適用するか、標準の損失よりも顕著に緩い利得境界に適用される。
後者の場合、境界は DNN の幅 $m$ あるいはデータ次元 $d$ に高い依存度を持ち、少なくとも$\mathcal{O}(\sqrt{m})$ または $\mathcal{O}(\sqrt{d})$ の余剰係数を持つ。
本稿では、Bartlett et al (2017)の論文で確立されたように、標準設定における最もよく知られた上界と一致するDNNの逆ラドマチャー複雑性の上限について、幅と寸法への依存が$\mathcal{O}(\ln(dm))$であることを示す。
対処する中心的な課題は、敵関数クラスの被覆数を計算することである。
我々は2つの性質を持つ新しいカバーを構築することを目指している。
1)敵の例との整合性、及び
2) 標準設定で使用されるカバーに匹敵する精度。
この目的のために、我々は、これらの2つの性質を具体的に設計し、整合することが証明された \emph{uniform cover number} と呼ばれる被覆数の新しい変種を導入する。
その結果,ロバストおよび標準一般化におけるRademacher複雑性のギャップを効果的に埋めることができた。
関連論文リスト
- Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。
既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。
G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
論文 参考訳（メタデータ） (2024-01-14T14:14:19Z) - PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust
Generalization [25.272738030198862]
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。
敵の攻撃に対する防衛アルゴリズムを確立するには 敵の強固な一般化が不可欠だ
本稿では、PAC-Bayesアプローチに基づくノルムに基づく摂動の複雑さに焦点を当てる。
論文 参考訳（メタデータ） (2023-10-09T22:20:27Z) - Adversarial Contextual Bandits Go Kernelized [21.007410990554522]
本研究では、ヒルベルト核空間に属する損失関数を組み込むことにより、逆線形文脈帯域におけるオンライン学習の問題を一般化する。
本稿では,損失関数を推定し,ほぼ最適の後悔の保証を再現するための新しい楽観的偏り推定器を提案する。
論文 参考訳（メタデータ） (2023-10-02T19:59:39Z) - Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。
本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。
我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
論文 参考訳（メタデータ） (2023-10-02T08:15:52Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - Adversarial Rademacher Complexity of Deep Neural Networks [29.571059373990888]
頑健なモデルは、摂動訓練データと目に見えない摂動試験データの両方で良好に機能する。
我々は、ディープニューラルネットワークの逆ラデマチャー複雑性の最初の境界を提供する。
論文 参考訳（メタデータ） (2022-11-27T23:24:37Z) - Generalization Bounds for Stochastic Gradient Descent via Localized
$\varepsilon$-Covers [16.618918548497223]
本稿では,SGDの軌道に局在する新しい被覆手法を提案する。
このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。
これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
論文 参考訳（メタデータ） (2022-09-19T12:11:07Z) - Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。
逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
論文 参考訳（メタデータ） (2021-10-25T02:53:24Z) - Towards Defending Multiple $\ell_p$-norm Bounded Adversarial
Perturbations via Gated Batch Normalization [120.99395850108422]
既存の敵防衛は、個々の摂動に対するモデル堅牢性を改善するのが一般的である。
最近の手法では、複数の$ell_p$球における敵攻撃に対するモデルロバスト性を改善するが、各摂動型に対するそれらの性能は、まだ十分ではない。
我々は,複数の$ell_pの有界摂動を守るために,摂動不変予測器を逆向きに訓練するGated Batch Normalization (GBN)を提案する。
論文 参考訳（メタデータ） (2020-12-03T02:26:01Z) - Taking a hint: How to leverage loss predictors in contextual bandits? [63.546913998407405]
我々は,損失予測の助けを借りて,文脈的包帯における学習を研究する。
最適な後悔は$mathcalO(minsqrtT, sqrtmathcalETfrac13)$である。
論文 参考訳（メタデータ） (2020-03-04T07:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。