論文の概要: Towards Compact and Robust DNNs via Compression-aware Sharpness Minimization

• arxiv url: http://arxiv.org/abs/2601.20301v1
• Date: Wed, 28 Jan 2026 06:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.800512
• Title: Towards Compact and Robust DNNs via Compression-aware Sharpness Minimization
• Title（参考訳）: 圧縮対応シャープネス最小化によるコンパクト・ロバストDNNの実現に向けて
• Authors: Jialuo He, Huangxun Chen,
• Abstract要約: Compression-aware ShArpness Minimization (C-SAM)は、シャープネス認識学習をパラメータ摂動からマスク摂動に移行するフレームワークである。 C-SAMは、強いベースラインよりも高い信頼性のロバスト性を一貫して達成し、最大42%の改善と、対応する未実行モデルに匹敵するタスク精度の維持を実現している。
• 参考スコア（独自算出の注目度）: 7.641622965415444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) has recently emerged as an effective technique for improving DNN robustness to input variations. However, its interplay with the compactness requirements of on-device DNN deployments remains less explored. Simply pruning a SAM-trained model can undermine robustness, since flatness in the continuous parameter space does not necessarily translate to robustness under the discrete structural changes induced by pruning. Conversely, applying SAM after pruning may be fundamentally constrained by architectural limitations imposed by an early, robustness-agnostic pruning pattern. To address this gap, we propose Compression-aware ShArpness Minimization (C-SAM), a framework that shifts sharpness-aware learning from parameter perturbations to mask perturbations. By explicitly perturbing pruning masks during training, C-SAM promotes a flatter loss landscape with respect to model structure, enabling the discovery of pruning patterns that simultaneously optimize model compactness and robustness to input variations. Extensive experiments on CelebA-HQ, Flowers-102, and CIFAR-10-C across ResNet-18, GoogLeNet, and MobileNet-V2 show that C-SAM consistently achieves higher certified robustness than strong baselines, with improvements of up to 42%, while maintaining task accuracy comparable to the corresponding unpruned models.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は近年,入力変動に対するDNNのロバスト性向上に有効な手法として登場した。 しかし、オンデバイスDNNデプロイメントのコンパクト性要件との相互作用については、まだ検討されていない。 なぜなら、連続パラメータ空間の平坦性は、プルーニングによって引き起こされる離散構造変化の下では必ずしもロバスト性に変換されないからである。 逆に、プルーニング後のSAMの適用は、初期の堅牢性に依存しないプルーニングパターンによって課されるアーキテクチャ上の制約によって、基本的に制限される可能性がある。 このギャップに対処するために, シャープネス認識学習をパラメータ摂動からマスク摂動へシフトさせるフレームワークである圧縮認識型ShArpness Minimization (C-SAM)を提案する。 トレーニング中にプルーニングマスクを明示的に摂動させることにより、C-SAMはモデル構造に対するフラットなロスランドスケープを促進し、モデルコンパクト性と入力変動に対する堅牢性を同時に最適化するプルーニングパターンの発見を可能にする。 CelebA-HQ、Flowers-102、CIFAR-10-CがResNet-18、GoogLeNet、MobileNet-V2で行った大規模な実験では、C-SAMは強いベースラインよりも高い信頼性のロバスト性を一貫して達成し、最大42%の改善を実現し、対応する未実行モデルに匹敵するタスク精度を維持している。

関連論文リスト

• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• SALMAN: Stability Analysis of Language Models Through the Maps Between Graph-based Manifolds [11.373585987937913]
  本研究では,内部パラメータの変更や複雑な摂動に頼らずにモデル安定性を評価する統一的局所(サンプルレベル)ロバストネスフレームワーク(SALMAN)を提案する。 提案手法の中心となるのがDMD(Distance Mapping Distortion)尺度である。 攻撃効率とロバストトレーニングの大幅な向上を示すことによって、我々は、トランスフォーマーベースのNLPシステムの信頼性を向上させるための実用的、モデルに依存しないツールとして、我々のフレームワークを位置づける。
  論文  参考訳（メタデータ） (2025-08-23T02:50:55Z)
• Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness [7.742297876120561]
  本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。 本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。