論文の概要: Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness

• arxiv url: http://arxiv.org/abs/2410.15176v2
• Date: Wed, 19 Mar 2025 11:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:29:57.324964
• Title: Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness
• Title（参考訳）: モジュールロバスト感性を持つ適応的プルーニング:圧縮とロバストさのバランス
• Authors: Lincen Bai, Hedi Tabia, Raúl Santos-Rodríguez,
• Abstract要約: 本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。 本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
• 参考スコア（独自算出の注目度）: 7.742297876120561
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural network pruning has traditionally focused on weight-based criteria to achieve model compression, frequently overlooking the crucial balance between adversarial robustness and accuracy. Existing approaches often fail to preserve robustness in pruned networks, leaving them more susceptible to adversarial attacks. This paper introduces Module Robustness Sensitivity (MRS), a novel metric that quantifies layer-wise sensitivity to adversarial perturbations and dynamically informs pruning decisions. Leveraging MRS, we propose Module Robust Pruning and Fine-Tuning (MRPF), an adaptive pruning algorithm compatible with any adversarial training method, offering both flexibility and scalability. Extensive experiments on SVHN, CIFAR, and Tiny-ImageNet across diverse architectures, including ResNet, VGG, and MobileViT, demonstrate that MRPF significantly enhances adversarial robustness while maintaining competitive accuracy and computational efficiency. Furthermore, MRPF consistently outperforms state-of-the-art structured pruning methods in balancing robustness, accuracy, and compression. This work establishes a practical and generalizable framework for robust pruning, addressing the long-standing trade-off between model compression and robustness preservation.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは伝統的に、モデル圧縮を達成するための重みに基づく基準に焦点を合わせてきた。 既存のアプローチは、しばしば刈り取られたネットワークの堅牢性を維持するのに失敗し、敵の攻撃を受けやすいままである。 本稿では, 対向摂動に対するレイヤワイド感度を定量化し, プルーニング決定を動的に通知する手法であるModule Robustness Sensitivity (MRS)を紹介する。 MRSを活用することで, 適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning(MRPF)を提案する。 SVHN、CIFAR、Tiny-ImageNetの多種多様なアーキテクチャに対する大規模な実験により、MRPFは競合精度と計算効率を維持しながら、敵の堅牢性を著しく向上することを示した。 さらに、MRPFは、ロバスト性、精度、圧縮のバランスを保ちながら、最先端の構造化プルーニング手法よりも一貫して優れている。 この研究は、モデル圧縮とロバストネス保存の長年のトレードオフに対処し、ロバストプルーニングのための実用的で一般化可能なフレームワークを確立する。

関連論文リスト

• Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach [14.639659415276533]
  Mixture of Experts (MoE) は、複雑な機械学習タスクに専門のエキスパートネットワークを活用することに成功している。 敵攻撃に対する感受性は、堅牢なアプリケーションに展開する上で重要な課題である。 本稿では, 自然精度を維持しつつ, 頑健性をMoEに組み込む方法について論じる。
  論文  参考訳（メタデータ） (2025-02-05T20:45:52Z)
• Adversarial Robustness through Dynamic Ensemble Learning [0.0]
  敵対的攻撃は、事前訓練された言語モデル(PLM)の信頼性に重大な脅威をもたらす 本稿では,このような攻撃に対するPLMの堅牢性を高めるための新しいスキームであるDynamic Ensemble Learning (ARDEL) による対逆ロバスト性について述べる。
  論文  参考訳（メタデータ） (2024-12-20T05:36:19Z)
• A Tunable Despeckling Neural Network Stabilized via Diffusion Equation [15.996302571895045]
  ガンマノイズ除去は合成開口レーダ(SAR)イメージングの応用において重要な研究領域である。 本稿では,正規化ユニットと正規化ユニットを1つのネットワークにアンロールして,エンドツーエンドのトレーニングを行う,チューニング可能な正規化ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T17:08:43Z)
• CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution [2.5388345537743056]
  スパイキングニューラルネットワーク(SNN)は、様々な動的視覚タスクにおいて有望であることを示しているが、現実的なデプロイメントの準備が整ったものは、リソース制限と安全クリティカルな設定に不可欠なコンパクト性と堅牢性を欠いていることが多い。 我々は,協調的共進化を基盤としたSNNの革新的な頑健な刈り取り法であるCSRPを提案する。
  論文  参考訳（メタデータ） (2024-07-18T04:28:16Z)
• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning [19.91117174405902]
  ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:02:34Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• A general framework for defining and optimizing robustness [74.67016173858497]
  分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。 我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。 我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-19T13:24:20Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
  Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。 本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
  論文  参考訳（メタデータ） (2020-06-06T19:37:20Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。