論文の概要: Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization

• arxiv url: http://arxiv.org/abs/2305.05875v3
• Date: Sat, 17 Feb 2024 03:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 23:48:38.608408
• Title: Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization
• Title（参考訳）: 量子化アタック:モデル量子化によるトランスファー可能な敵攻撃の強化
• Authors: Yulong Yang, Chenhao Lin, Qian Li, Zhengyu Zhao, Haoran Fan, Dawei Zhou, Nannan Wang, Tongliang Liu, Chao Shen,
• Abstract要約: 量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。 従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。 マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
• 参考スコア（独自算出の注目度）: 57.87950229651958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantized neural networks (QNNs) have received increasing attention in resource-constrained scenarios due to their exceptional generalizability. However, their robustness against realistic black-box adversarial attacks has not been extensively studied. In this scenario, adversarial transferability is pursued across QNNs with different quantization bitwidths, which particularly involve unknown architectures and defense methods. Previous studies claim that transferability is difficult to achieve across QNNs with different bitwidths on the condition that they share the same architecture. However, we discover that under different architectures, transferability can be largely improved by using a QNN quantized with an extremely low bitwidth as the substitute model. We further improve the attack transferability by proposing \textit{quantization aware attack} (QAA), which fine-tunes a QNN substitute model with a multiple-bitwidth training objective. In particular, we demonstrate that QAA addresses the two issues that are commonly known to hinder transferability: 1) quantization shifts and 2) gradient misalignments. Extensive experimental results validate the high transferability of the QAA to diverse target models. For instance, when adopting the ResNet-34 substitute model on ImageNet, QAA outperforms the current best attack in attacking standardly trained DNNs, adversarially trained DNNs, and QNNs with varied bitwidths by 4.3\% $\sim$ 20.9\%, 8.7\% $\sim$ 15.5\%, and 2.6\% $\sim$ 31.1\% (absolute), respectively. In addition, QAA is efficient since it only takes one epoch for fine-tuning. In the end, we empirically explain the effectiveness of QAA from the view of the loss landscape. Our code is available at https://github.com/yyl-github-1896/QAA/
• Abstract（参考訳）: 量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。 しかし、現実的なブラックボックス攻撃に対するロバスト性は広く研究されていない。 このシナリオでは、異なる量子化ビット幅を持つQNN間で、特に未知のアーキテクチャや防御手法を含む逆転送性が追求される。 従来の研究では、同じアーキテクチャを共有するという条件下で異なるビット幅を持つQNN間で転送性を実現することは困難であった。 しかし、異なるアーキテクチャでは、超低ビット幅のQNNを代替モデルとして量子化することにより、転送可能性を大幅に改善できることが判明した。 マルチビットトレーニング目的のQNN代替モデルを微調整する「textit{quantization aware attack} (QAA)」を提案することにより、攻撃伝達性をさらに向上する。 特に、QAAは、転送可能性を妨げるために一般的に知られている2つの問題に対処していることを実証する。 1)量子化シフト 2) 勾配のずれ。 広範囲な実験結果により、様々なターゲットモデルに対するQAAの高い転送性が確認された。 例えば、ImageNet上のResNet-34代替モデルを採用する場合、QAAは、標準的な訓練を受けたDNN、反対に訓練されたDNN、および様々なビット幅を持つQNNに対する攻撃において、それぞれ4.3\% $\sim$ 20.9\%、 8.7\% $\sim$ 15.5\%、 2.6\% $\sim$ 31.1\%(絶対値)をそれぞれ上回っている。 さらに、QAAは微調整に1時間しかかからないため、効率的である。 最後に,損失景観の観点から,QAAの有効性を実証的に説明する。 私たちのコードはhttps://github.com/yyl-github-1896/QAA/で利用可能です。

関連論文リスト

• Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training [1.6098666134798774]
  ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T17:15:58Z)
• ODG-Q: Robust Quantization via Online Domain Generalization [9.25177374431812]
  低ビット幅へのニューラルネットワークの量子化は、リソース制限エッジハードウェア上のモデル展開において重要である。 本稿では,ロバスト量子化をオンライン領域一般化問題(ODG-Q)として再キャストする手法を提案する。 ODG-Qは、様々な敵の攻撃に対して、既存の作業よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-10-17T02:25:28Z)
• Attacking the Spike: On the Transferability and Security of Spiking Neural Networks to Adversarial Examples [19.227133993690504]
  スパイキングニューラルネットワーク(SNN)はその高エネルギー効率と近年の分類性能の進歩に多くの注目を集めている。 従来のディープラーニング手法とは異なり、SNNの強靭性の分析と研究は比較的未発達のままである。 我々は,SNNに対するホワイトボックス攻撃の成功は,下層のサロゲート勾配技術に大きく依存していることを示す。
  論文  参考訳（メタデータ） (2022-09-07T17:05:48Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Going Far Boosts Attack Transferability, but Do Not Do It [16.901240544106948]
  7つの最適化アルゴリズム,4つのサロゲート,9つのブラックボックスモデルに関する包括的実験により,攻撃伝達性に対する最適化の影響を検討した。 最適化アルゴリズムからのAEsの様々な転送性は、元のサンプルから得られたRoot Mean Square Error(RMSE)と強く関係している。 LARAは転送可能性を大幅に20%改善するが、DNNの脆弱性を利用するには不十分である。
  論文  参考訳（メタデータ） (2021-02-20T13:19:31Z)
• Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
  トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。 具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。 現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-12-31T08:40:42Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• A Panda? No, It's a Sloth: Slowdown Attacks on Adaptive Multi-Exit Neural Network Inference [6.320009081099895]
  スローダウン攻撃は、マルチエクイットDNNの有効性を90-100%削減し、典型的なIoTデプロイメントにおいて1.5～5$times$のレイテンシを増幅する。 汎用的で再利用可能な摂動を構築でき、攻撃は現実的なブラックボックスのシナリオで有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-06T02:06:52Z)
• MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
  本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。 まず、様々な歪みに対してNR-IQAタスクを収集する。 次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。 大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-04-11T23:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。