論文の概要: Benchmarking Adversarial Robustness of Compressed Deep Learning Models

• arxiv url: http://arxiv.org/abs/2308.08160v1
• Date: Wed, 16 Aug 2023 06:06:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 14:42:39.392461
• Title: Benchmarking Adversarial Robustness of Compressed Deep Learning Models
• Title（参考訳）: 圧縮深層学習モデルの逆ロバスト性ベンチマーク
• Authors: Brijesh Vora, Kartik Patwari, Syed Mahbub Hafiz, Zubair Shafiq, Chen-Nee Chuah
• Abstract要約: 本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。 以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
• 参考スコア（独自算出の注目度）: 15.737988622271219
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The increasing size of Deep Neural Networks (DNNs) poses a pressing need for model compression, particularly when employed on resource constrained devices. Concurrently, the susceptibility of DNNs to adversarial attacks presents another significant hurdle. Despite substantial research on both model compression and adversarial robustness, their joint examination remains underexplored. Our study bridges this gap, seeking to understand the effect of adversarial inputs crafted for base models on their pruned versions. To examine this relationship, we have developed a comprehensive benchmark across diverse adversarial attacks and popular DNN models. We uniquely focus on models not previously exposed to adversarial training and apply pruning schemes optimized for accuracy and performance. Our findings reveal that while the benefits of pruning enhanced generalizability, compression, and faster inference times are preserved, adversarial robustness remains comparable to the base model. This suggests that model compression while offering its unique advantages, does not undermine adversarial robustness.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)のサイズが大きくなると、特にリソース制約のあるデバイスで使用される場合、モデル圧縮の必要性が高まる。 同時に、敵の攻撃に対するDNNの感受性もまた大きなハードルとなっている。 モデル圧縮と対向ロバスト性の両方についてかなりの研究が行われたが、共同試験は未検討のままである。 本研究は, 基本モデルの逆入力が刈り取られたバージョンに与える影響を理解するために, このギャップを埋めるものである。 この関係を調べるために,様々な敵攻撃とDNNモデルに対する総合的なベンチマークを開発した。 我々は,従来は敵の訓練の対象とされていなかったモデルに注目し,精度と性能に最適化された刈り取り方式を適用した。 解析の結果, 汎用性の向上, 圧縮, 高速な推論時間は維持されているものの, 対向的堅牢性はベースモデルに匹敵することがわかった。 これはモデル圧縮がユニークな利点を提供する一方で、逆の強固さを損なわないことを示唆している。

関連論文リスト

• A Robust Adversarial Ensemble with Causal (Feature Interaction) Interpretations for Image Classification [9.945272787814941]
  本稿では,識別的特徴と生成的モデルを組み合わせた深層アンサンブルモデルを提案する。 提案手法は,特徴抽出のためのボトムレベル事前学習型識別ネットワークと,逆入力分布をモデル化したトップレベル生成型分類ネットワークを統合する。
  論文  参考訳（メタデータ） (2024-12-28T05:06:20Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency [3.3490724063380215]
  アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。 本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。 本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-14T14:34:25Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning [0.1529342790344802]
  いくつかの不規則なプルーニングスキームと8ビット量子化法により生成されたモデルの対角的ロバスト性について検討する。 このプルーニング法により,非圧縮モデルからの攻撃に対して耐性のあるモデルが得られることが判明した。
  論文  参考訳（メタデータ） (2022-06-15T09:13:35Z)
• Interpolated Joint Space Adversarial Training for Robust and Generalizable Defenses [82.3052187788609]
  敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。 近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。 我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。 JSTMでは,新たな敵攻撃・防衛手法が開発されている。
  論文  参考訳（メタデータ） (2021-12-12T21:08:14Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks [15.217367754000913]
  敵の例に抵抗する高い堅牢性を持つモデルを得ることがますます重要である。 我々は、敵の攻撃と堅牢性について、予備的な定義を与える。 我々は、頻繁に使用されるベンチマークについて研究し、理論的に証明された敵の堅牢性の境界について言及する。
  論文  参考訳（メタデータ） (2020-11-03T07:42:53Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。