論文の概要: CSTAR: Towards Compact and STructured Deep Neural Networks with
Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2212.01957v1
- Date: Sun, 4 Dec 2022 23:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 17:26:43.729643
- Title: CSTAR: Towards Compact and STructured Deep Neural Networks with
Adversarial Robustness
- Title(参考訳): CSTAR: 対向ロバスト性を持つコンパクトかつ安定なディープニューラルネットワークを目指して
- Authors: Huy Phan, Miao Yin, Yang Sui, Bo Yuan, Saman Zonouz
- Abstract要約: CSTARは、低ランク性に基づくコンパクト性、高安定性、高逆ロバスト性をターゲットDNNモデルに同時に付与できる効率的なソリューションである。
CSTARは、最先端のロバストな構造化プルーニング法と比較すると、常に優れた性能を示している。
- 参考スコア(独自算出の注目度): 19.69048976479834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model compression and model defense for deep neural networks (DNNs) have been
extensively and individually studied. Considering the co-importance of model
compactness and robustness in practical applications, several prior works have
explored to improve the adversarial robustness of the sparse neural networks.
However, the structured sparse models obtained by the exiting works suffer
severe performance degradation for both benign and robust accuracy, thereby
causing a challenging dilemma between robustness and structuredness of the
compact DNNs. To address this problem, in this paper, we propose CSTAR, an
efficient solution that can simultaneously impose the low-rankness-based
Compactness, high STructuredness and high Adversarial Robustness on the target
DNN models. By formulating the low-rankness and robustness requirement within
the same framework and globally determining the ranks, the compressed DNNs can
simultaneously achieve high compression performance and strong adversarial
robustness. Evaluations for various DNN models on different datasets
demonstrate the effectiveness of CSTAR. Compared with the state-of-the-art
robust structured pruning methods, CSTAR shows consistently better performance.
For instance, when compressing ResNet-18 on CIFAR-10, CSTAR can achieve up to
20.07% and 11.91% improvement for benign accuracy and robust accuracy,
respectively. For compressing ResNet-18 with 16x compression ratio on Imagenet,
CSTAR can obtain 8.58% benign accuracy gain and 4.27% robust accuracy gain
compared to the existing robust structured pruning method.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)のモデル圧縮とモデル防御について,大規模かつ個別に研究されている。
実用的応用におけるモデルコンパクト性とロバスト性の組み合わせを考慮して、スパースニューラルネットワークの敵対的ロバスト性を改善するためのいくつかの先行研究が進められている。
しかし, 流出作業により得られた構造的スパースモデルは, 良性および頑健性の両方において深刻な性能劣化を被り, コンパクトDNNの頑健性と構造性との間には難易度が生じる。
この問題に対処するため,本論文では,低ランクのコンパクト性,高安定度,高逆ロバスト性を目標とするDNNモデルに同時に適用可能なCSTARを提案する。
同じフレームワーク内で低ランク性とロバスト性要件を定式化し、そのランクをグローバルに決定することにより、圧縮dnnは高い圧縮性能と強力な敵対的ロバスト性を同時に達成することができる。
異なるデータセット上での様々なDNNモデルの評価は、CSTARの有効性を示す。
CSTARは、最先端のロバストな構造化プルーニング法と比較すると、常に優れた性能を示している。
例えば、CIFAR-10でResNet-18を圧縮すると、CSTARはそれぞれ20.07%と1.91%の改善を達成できる。
Imagenet上で16倍圧縮比のResNet-18を圧縮するために、CSTARは既存の頑丈な構造化プルーニング法と比較して8.58%の良性精度ゲインと4.27%の堅牢な精度ゲインを得ることができる。
関連論文リスト
- DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware
Efficiency of Compact Neural Networks [29.46621102184345]
ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。
我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
論文 参考訳(メタデータ) (2022-06-02T02:32:47Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳(メタデータ) (2022-04-14T15:14:08Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳(メタデータ) (2021-12-12T21:08:14Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-25T20:50:15Z) - A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of
DNNs [8.597091257152567]
敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。
我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
論文 参考訳(メタデータ) (2020-11-03T19:49:00Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳(メタデータ) (2020-10-03T04:46:17Z) - EMPIR: Ensembles of Mixed Precision Deep Networks for Increased
Robustness against Adversarial Attacks [18.241639570479563]
ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。
敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。
EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
論文 参考訳(メタデータ) (2020-04-21T17:17:09Z) - Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism
Principled Robust Deep Neural Nets [13.102014808597264]
本稿では、堅牢で正確なディープラーニングのための効率的な圧縮アルゴリズムとスパースニューラルネットワークの共設計に焦点を当てる。
緩和されたラグランジアンベースのアルゴリズムを利用して、敵に訓練されたDNNの重みを推定する。
The Feynman-Kac formalism was fundamentald robust and sparse DNNs, we can least double the channel sparsity of the adversarially trained ResNet20 for CIFAR10 classification。
論文 参考訳(メタデータ) (2020-03-02T02:18:43Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳(メタデータ) (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。