論文の概要: Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2402.03576v1
• Date: Mon, 5 Feb 2024 22:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 17:19:10.286289
• Title: Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks
• Title（参考訳）: $\ell_0$-bounded adversarial attackに対するadversarial trainingの一般化特性
• Authors: Payam Delgosha, Hamed Hassani, Ramtin Pedarsani
• Abstract要約: 本稿では,ニューラルネットワークの重要なクラスに対する対人訓練の性能を理論的に特徴付けることを目的とする。 この設定での一般化の導出には2つの大きな課題がある。
• 参考スコア（独自算出の注目度）: 47.22918498465056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We have widely observed that neural networks are vulnerable to small additive perturbations to the input causing misclassification. In this paper, we focus on the $\ell_0$-bounded adversarial attacks, and aim to theoretically characterize the performance of adversarial training for an important class of truncated classifiers. Such classifiers are shown to have strong performance empirically, as well as theoretically in the Gaussian mixture model, in the $\ell_0$-adversarial setting. The main contribution of this paper is to prove a novel generalization bound for the binary classification setting with $\ell_0$-bounded adversarial perturbation that is distribution-independent. Deriving a generalization bound in this setting has two main challenges: (i) the truncated inner product which is highly non-linear; and (ii) maximization over the $\ell_0$ ball due to adversarial training is non-convex and highly non-smooth. To tackle these challenges, we develop new coding techniques for bounding the combinatorial dimension of the truncated hypothesis class.
• Abstract（参考訳）: 我々はニューラルネットワークが入力に対する小さな加法摂動に弱いことが広く観察されている。 本稿では,$\ell_0$-bounded adversarial attack に着目し,重要なクラスであるtruncated classifier に対する対人訓練の性能を理論的に特徴付けることを目的とする。 このような分類器は、理論上はガウス混合モデル(英語版)(gaussian mixed model)において、経験的に強い性能を示すことが示される。 本論文の主な貢献は、分布非依存な$\ell_0$-bounded adversarial perturbation を持つ二項分類設定に対する新たな一般化を証明することである。 この設定における一般化の導出には2つの大きな課題がある。 (i)高度に非線形な切断内積 (ii) 対向訓練による$\ell_0$ボールに対する最大化は非凸であり、非滑らかである。 これらの課題に取り組むため,我々は,切断された仮説クラスの組合せ次元を境界とする新しいコーディング手法を開発した。

関連論文リスト

• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Certified Robustness against Sparse Adversarial Perturbations via Data Localization [39.883465335244594]
  本論では,MNISTデータセットとFashion-MNISTデータセットのスパース攻撃に対する信頼性の高いロバスト性において,この問題の幾何学を自然に組み込んだ単純な分類器であるBox-NNについて述べる。
  論文  参考訳（メタデータ） (2024-05-23T05:02:00Z)
• An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
  本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。 我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。 1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
  論文  参考訳（メタデータ） (2022-03-21T03:54:53Z)
• Towards Compositional Adversarial Robustness: Generalizing Adversarial Training to Composite Semantic Perturbations [70.05004034081377]
  まず,合成逆数例を生成する新しい手法を提案する。 本手法は, コンポーネントワイド射影勾配勾配を利用して最適攻撃組成を求める。 次に,モデルロバスト性を$ell_p$-ballから複合意味摂動へ拡張するための一般化逆トレーニング(GAT)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T02:41:56Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Robust Classification Under $\ell_0$ Attack for the Gaussian Mixture Model [39.414875342234204]
  フィルタとトランケーションの2つの主要モジュールを持つFilTrunと呼ばれる新しい分類アルゴリズムを開発した。 敵対的摂動の効果が完全に中和できるかどうかを判断する敵対的予算の段階遷移など、興味深い行動を示すいくつかの例を議論する。
  論文  参考訳（メタデータ） (2021-04-05T23:31:25Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。