論文の概要: CSTAR: Towards Compact and STructured Deep Neural Networks with Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2212.01957v1
• Date: Sun, 4 Dec 2022 23:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 17:26:43.729643
• Title: CSTAR: Towards Compact and STructured Deep Neural Networks with Adversarial Robustness
• Title（参考訳）: CSTAR: 対向ロバスト性を持つコンパクトかつ安定なディープニューラルネットワークを目指して
• Authors: Huy Phan, Miao Yin, Yang Sui, Bo Yuan, Saman Zonouz
• Abstract要約: CSTARは、低ランク性に基づくコンパクト性、高安定性、高逆ロバスト性をターゲットDNNモデルに同時に付与できる効率的なソリューションである。 CSTARは、最先端のロバストな構造化プルーニング法と比較すると、常に優れた性能を示している。
• 参考スコア（独自算出の注目度）: 19.69048976479834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression and model defense for deep neural networks (DNNs) have been extensively and individually studied. Considering the co-importance of model compactness and robustness in practical applications, several prior works have explored to improve the adversarial robustness of the sparse neural networks. However, the structured sparse models obtained by the exiting works suffer severe performance degradation for both benign and robust accuracy, thereby causing a challenging dilemma between robustness and structuredness of the compact DNNs. To address this problem, in this paper, we propose CSTAR, an efficient solution that can simultaneously impose the low-rankness-based Compactness, high STructuredness and high Adversarial Robustness on the target DNN models. By formulating the low-rankness and robustness requirement within the same framework and globally determining the ranks, the compressed DNNs can simultaneously achieve high compression performance and strong adversarial robustness. Evaluations for various DNN models on different datasets demonstrate the effectiveness of CSTAR. Compared with the state-of-the-art robust structured pruning methods, CSTAR shows consistently better performance. For instance, when compressing ResNet-18 on CIFAR-10, CSTAR can achieve up to 20.07% and 11.91% improvement for benign accuracy and robust accuracy, respectively. For compressing ResNet-18 with 16x compression ratio on Imagenet, CSTAR can obtain 8.58% benign accuracy gain and 4.27% robust accuracy gain compared to the existing robust structured pruning method.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のモデル圧縮とモデル防御について,大規模かつ個別に研究されている。 実用的応用におけるモデルコンパクト性とロバスト性の組み合わせを考慮して、スパースニューラルネットワークの敵対的ロバスト性を改善するためのいくつかの先行研究が進められている。 しかし, 流出作業により得られた構造的スパースモデルは, 良性および頑健性の両方において深刻な性能劣化を被り, コンパクトDNNの頑健性と構造性との間には難易度が生じる。 この問題に対処するため,本論文では,低ランクのコンパクト性,高安定度,高逆ロバスト性を目標とするDNNモデルに同時に適用可能なCSTARを提案する。 同じフレームワーク内で低ランク性とロバスト性要件を定式化し、そのランクをグローバルに決定することにより、圧縮dnnは高い圧縮性能と強力な敵対的ロバスト性を同時に達成することができる。 異なるデータセット上での様々なDNNモデルの評価は、CSTARの有効性を示す。 CSTARは、最先端のロバストな構造化プルーニング法と比較すると、常に優れた性能を示している。 例えば、CIFAR-10でResNet-18を圧縮すると、CSTARはそれぞれ20.07%と1.91%の改善を達成できる。 Imagenet上で16倍圧縮比のResNet-18を圧縮するために、CSTARは既存の頑丈な構造化プルーニング法と比較して8.58%の良性精度ゲインと4.27%の堅牢な精度ゲインを得ることができる。

関連論文リスト

• CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution [2.5388345537743056]
  スパイキングニューラルネットワーク(SNN)は、様々な動的視覚タスクにおいて有望であることを示しているが、現実的なデプロイメントの準備が整ったものは、リソース制限と安全クリティカルな設定に不可欠なコンパクト性と堅牢性を欠いていることが多い。 我々は,協調的共進化を基盤としたSNNの革新的な頑健な刈り取り法であるCSRPを提案する。
  論文  参考訳（メタデータ） (2024-07-18T04:28:16Z)
• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• Interpolated Joint Space Adversarial Training for Robust and Generalizable Defenses [82.3052187788609]
  敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。 近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。 我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。 JSTMでは,新たな敵攻撃・防衛手法が開発されている。
  論文  参考訳（メタデータ） (2021-12-12T21:08:14Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of DNNs [8.597091257152567]
  敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。 我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
  論文  参考訳（メタデータ） (2020-11-03T19:49:00Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)
• EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks [18.241639570479563]
  ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。 敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。 EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-21T17:17:09Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。