論文の概要: Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

• arxiv url: http://arxiv.org/abs/2610.10666v1
• Date: Wed, 07 Oct 2026 17:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.61014
• Title: Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
• Title（参考訳）: 逆学習ニューラルネットワークの正当性マップの空間性について
• Abstract要約: コンピュータビジョンでは、サリエンシマップは予測に最も影響力のある画像領域をハイライトする。 経験的観察は、敵対的に訓練されたニューラルネットワークの勾配塩分濃度マップの鮮明さである。 本稿では,この現象を2層ReLUネットワークに対して理論的に説明する。
• 参考スコア（独自算出の注目度）: 6.748916742023102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding why deep neural networks make a given prediction is of great importance for their safe deployment. In computer vision, saliency maps, which highlight the image region most influential for a prediction, remain a widely-used form of explanation. An empirical observation is the apparent sparsity of gradient saliency maps of adversarially-trained neural networks. In this paper, we propose a theoretical explanation of this phenomenon for two-layer ReLU networks. We build on the established equivalence of adversarial training to the minimization of the empirical risk with weight-decay penalization and an added adversarial total variation term -- valid for certain loss functions. As the number of data points and neurons grows and the regularization parameters are sent to zero at appropriate rates, we prove that minimizers converge to a Bayes classifier with minimal gradient and Barron norm. Sparsity appears since for adversarial training with $\ell_\infty$-attacks the gradient norm is anisotropic and favors axis-aligned / sparse gradients. We illustrate our theoretical findings experimentally by evaluating the gradient $\ell_1$-norm and thresholded sparsity of naturally versus adversarially trained models.
• Abstract（参考訳）: ディープニューラルネットワークが特定の予測を行う理由を理解することは、安全なデプロイメントにおいて非常に重要である。 コンピュータビジョンでは、予測に最も影響力のある画像領域をハイライトするサリエンシマップは、広く使われている説明形式のままである。 経験的観察は、敵対的に訓練されたニューラルネットワークの勾配塩分濃度マップの見かけの間隔である。 本稿では,この現象を2層ReLUネットワークに対して理論的に説明する。 我々は, 対人訓練の確立された等価性に基づいて, 減量刑による経験的リスクの最小化と, 一定の損失関数に有効な対人的総変量項を付加した。 データポイントやニューロンの数が増え、正規化パラメータが適切な速度でゼロに送られるようになると、最小化器は最小勾配とバロンノルムを持つベイズ分類器に収束することが証明される。 スパーシティは、$\ell_\infty$-アタックによる敵の訓練において、勾配ノルムは異方性であり、軸整列/スパース勾配を好むため現れる。 本研究は, 自然対逆学習モデルの勾配$\ell_1$-normとしきい値間隔を実験的に評価することにより, 理論的知見を実証した。

関連論文リスト

• Provable Emergence of Deep Neural Collapse and Low-Rank Bias in $L^2$-Regularized Nonlinear Networks [8.271417588922336]
  非線形活性化を伴うフィードフォワードネットワークの一般クラスに対して,ディープ・ニューラル・崩壊と低ランク・ウェイト行列の出現との関係を示す。 また, 深い神経崩壊構成のグローバルな最適性や, 補間最小点と大域的最適点の間の損失障壁の実用的欠如を証明した。
  論文  参考訳（メタデータ） (2024-02-06T13:44:39Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。