論文の概要: S2AP: Score-space Sharpness Minimization for Adversarial Pruning

• arxiv url: http://arxiv.org/abs/2510.18381v1
• Date: Tue, 21 Oct 2025 07:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.142499
• Title: S2AP: Score-space Sharpness Minimization for Adversarial Pruning
• Title（参考訳）: S2AP: 逆解析のためのスコア空間シャープネス最小化
• Authors: Giorgio Piras, Qi Zhao, Fabio Brau, Maura Pintor, Christian Wressnegger, Battista Biggio,
• Abstract要約: 敵攻撃に対する堅牢性を保ちながら、ニューラルネットワークを圧縮するための強力なツールである。 我々は,Score-space Sharpness-aware Adversarial Pruning (S2AP) と呼ばれる,対向的プルーニングのための新しいプラグイン手法を提案する。 S2APは、スコア空間のシャープネスを効果的に最小化し、マスク選択を安定化し、最終的には対向プルーニング法の堅牢性を向上させる。
• 参考スコア（独自算出の注目度）: 27.960949801337666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial pruning methods have emerged as a powerful tool for compressing neural networks while preserving robustness against adversarial attacks. These methods typically follow a three-step pipeline: (i) pretrain a robust model, (ii) select a binary mask for weight pruning, and (iii) finetune the pruned model. To select the binary mask, these methods minimize a robust loss by assigning an importance score to each weight, and then keep the weights with the highest scores. However, this score-space optimization can lead to sharp local minima in the robust loss landscape and, in turn, to an unstable mask selection, reducing the robustness of adversarial pruning methods. To overcome this issue, we propose a novel plug-in method for adversarial pruning, termed Score-space Sharpness-aware Adversarial Pruning (S2AP). Through our method, we introduce the concept of score-space sharpness minimization, which operates during the mask search by perturbing importance scores and minimizing the corresponding robust loss. Extensive experiments across various datasets, models, and sparsity levels demonstrate that S2AP effectively minimizes sharpness in score space, stabilizing the mask selection, and ultimately improving the robustness of adversarial pruning methods.
• Abstract（参考訳）: 敵攻撃に対する堅牢性を保ちながら、ニューラルネットワークを圧縮するための強力なツールとして、敵プルーニング法が登場した。 これらのメソッドは通常、3ステップのパイプラインに従います。 (i)頑丈なモデルを事前訓練すること。 (二)重量刈り用の二枚目のマスクを選択し、 (三)刈り取り模型を微調整する。 二乗マスクを選択するには、各重みに重みを割り当て、その重みを最上位のスコアで保持することにより、ロバストな損失を最小限に抑える。 しかし、このスコア空間最適化は、ロバストなロスランドスケープにおいて急激な局所最小化を招き、不安定なマスク選択につながり、対向的なプルーニング手法のロバスト性を低下させる。 そこで本稿では,Score-space Sharpness-aware Adversarial Pruning (S2AP) と呼ばれる,新たな逆解析法を提案する。 本手法では,重要なスコアを摂動させ,それに対応するロバストな損失を最小限に抑えることで,マスク探索中に動作するスコア空間のシャープネス最小化の概念を導入する。 様々なデータセット、モデル、スパーシリティレベルにわたる大規模な実験により、S2APはスコア空間のシャープネスを効果的に最小化し、マスクの選択を安定化し、最終的には敵のプルーニング手法の堅牢性を向上することを示した。

関連論文リスト

• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
  本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。 事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。 本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
  論文  参考訳（メタデータ） (2024-07-02T09:33:32Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Escaping Poor Local Minima in Large Scale Robust Estimation [41.304283715031204]
  ロバストなパラメータ推定のための2つの新しいアプローチを紹介します。 最初のアルゴリズムは、貧弱なミニマから逃れる強力な能力を持つ適応的なカーネルスケーリング戦略を使用します。 第2のアルゴリズムは、一般化メジャー化最小化フレームワークと半二次昇降式を組み合わせて、シンプルで効率的なソルバーを得る。
  論文  参考訳（メタデータ） (2021-02-22T11:58:29Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。