論文の概要: Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2509.21130v2
• Date: Tue, 07 Oct 2025 12:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 15:38:21.671245
• Title: Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers
• Title（参考訳）: スパース表現はニューラルネットワーク分類器の対向ロバスト性を改善する
• Authors: Killian Steunou, Théo Druilhe, Sigurd Saue,
• Abstract要約: ディープニューラルネットワークは、画像分類タスクにおいて極めてよく機能するが、慎重に構築された敵の摂動に弱いままである。 この研究は、線形次元の減少を単純なデータ適応型防衛として再考する。 実証的には、プロジェクション後の小さな非線形ネットワークにより、SPCAは強いホワイトボックスとブラックボックス攻撃の下で、PCAよりも常に優雅に低下する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks perform remarkably well on image classification tasks but remain vulnerable to carefully crafted adversarial perturbations. This work revisits linear dimensionality reduction as a simple, data-adapted defense. We empirically compare standard Principal Component Analysis (PCA) with its sparse variant (SPCA) as front-end feature extractors for downstream classifiers, and we complement these experiments with a theoretical analysis. On the theory side, we derive exact robustness certificates for linear heads applied to SPCA features: for both $\ell_\infty$ and $\ell_2$ threat models (binary and multiclass), the certified radius grows as the dual norms of $W^\top u$ shrink, where $W$ is the projection and $u$ the head weights. We further show that for general (non-linear) heads, sparsity reduces operator-norm bounds through a Lipschitz composition argument, predicting lower input sensitivity. Empirically, with a small non-linear network after the projection, SPCA consistently degrades more gracefully than PCA under strong white-box and black-box attacks while maintaining competitive clean accuracy. Taken together, the theory identifies the mechanism (sparser projections reduce adversarial leverage) and the experiments verify that this benefit persists beyond the linear setting. Our code is available at https://github.com/killian31/SPCARobustness.
• Abstract（参考訳）: ディープニューラルネットワークは、画像分類タスクにおいて極めてよく機能するが、慎重に構築された敵の摂動に弱いままである。 この研究は、線形次元の減少を単純なデータ適応型防衛として再考する。 我々は,標準主成分分析(PCA)とスパース変種(SPCA)を下流分類器のフロントエンド特徴抽出器として実証的に比較し,これらの実験を理論的解析で補完する。 理論側では、SPCA機能に適用される線形ヘッドの正確な堅牢性証明を導出する: $\ell_\infty$ と $\ell_2$ 脅威モデル (バイナリとマルチクラス) に対して、認定半径は、$W^\top u$ の双対ノルムとして増大する。 さらに、一般(非線形)ヘッドに対して、スパーシティは演算子-ノルム境界をリプシッツ合成の議論を通じて減少させ、入力感度の低下を予測する。 実証的には、プロジェクション後の小さな非線形ネットワークでは、SPCAは競争力のあるクリーンな精度を維持しながら、強いホワイトボックスとブラックボックスアタックの下でPCAよりも優雅に低下する。 組み合わせて考えると、この理論はメカニズム(スパーサ射影は敵のレバレッジを減少させる)を識別し、実験によってこの利点が線形設定を超えて持続することを検証する。 私たちのコードはhttps://github.com/killian31/SPCARobustnessで利用可能です。

関連論文リスト

• Exact Certification of (Graph) Neural Networks Against Label Poisoning [50.87615167799367]
  グラフニューラルネットワーク(GNN)におけるラベルフリップの正確な認証手法を提案する。 本稿では,ノード分類タスクにおける広範囲なGNNアーキテクチャの認証に本手法を適用した。 私たちの研究は、ニューラルネットワークによって引き起こされた毒殺攻撃に対する最初の正確な認証を提示します。
  論文  参考訳（メタデータ） (2024-11-30T17:05:12Z)
• Loss Minimization Yields Multicalibration for Large Neural Networks [16.047146428254592]
  マルチキャリブレーション(英: multicalibration)とは、予測器に対して、多数の保護されたグループに対して校正された予測を提供することを要求する公平性の概念である。 大きさ$n$の全てのニューラルネット上の2乗損失を最小化することは、有界な不運な値が$n$であるにもかかわらず、すべてに対して多重校正を意味することを示す。
  論文  参考訳（メタデータ） (2023-04-19T05:16:20Z)
• Asymmetric Certified Robustness via Feature-Convex Neural Networks [11.605936648692543]
  ICNNを敵ネットワークに一般化できることを示す。 実験により、ネットワークはどの競争ベースラインよりもはるかに効率的であることが示されている。
  論文  参考訳（メタデータ） (2023-02-03T19:17:28Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
  トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。 我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。 例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
  論文  参考訳（メタデータ） (2020-11-15T21:34:44Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)
• Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting [20.198224461384854]
  ニューラルネットワークは、コンピュータビジョンの顔画像のような大規模な高次元データを扱う。 本稿では,高次元分類におけるこの経験的成功を理解するために,過剰リスクの収束率を導出する。
  論文  参考訳（メタデータ） (2020-01-19T19:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。