論文の概要: Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training

• arxiv url: http://arxiv.org/abs/2312.00105v1
• Date: Thu, 30 Nov 2023 17:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:47:25.883209
• Title: Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training
• Title（参考訳）: 確率量子化と情報理論を用いたホワイトボックス攻撃に対する量子化ニューラルネットワークのロバスト性向上
• Authors: Saurabh Farkya, Aswin Raghavan, Avi Ziskind
• Abstract要約: ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
• 参考スコア（独自算出の注目度）: 1.6098666134798774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most real-world applications that employ deep neural networks (DNNs) quantize them to low precision to reduce the compute needs. We present a method to improve the robustness of quantized DNNs to white-box adversarial attacks. We first tackle the limitation of deterministic quantization to fixed ``bins'' by introducing a differentiable Stochastic Quantizer (SQ). We explore the hypothesis that different quantizations may collectively be more robust than each quantized DNN. We formulate a training objective to encourage different quantized DNNs to learn different representations of the input image. The training objective captures diversity and accuracy via mutual information between ensemble members. Through experimentation, we demonstrate substantial improvement in robustness against $L_\infty$ attacks even if the attacker is allowed to backpropagate through SQ (e.g., > 50\% accuracy to PGD(5/255) on CIFAR10 without adversarial training), compared to vanilla DNNs as well as existing ensembles of quantized DNNs. We extend the method to detect attacks and generate robustness profiles in the adversarial information plane (AIP), towards a unified analysis of different threat models by correlating the MI and accuracy.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。 まず, 微分可能確率量子化器(sq)を導入することで, 決定論的量子化の限界に挑戦する。 我々は、異なる量子化がそれぞれの量子化DNNよりも集合的に堅牢であるという仮説を探求する。 入力画像の異なる表現を学習するために、異なる量子化dnnを奨励するためにトレーニング目標を定式化する。 トレーニング対象は、アンサンブルメンバー間の相互情報を介して多様性と精度をキャプチャする。 実験により、攻撃者がSQ(例えば、CIFAR10上のPGD(5/255)を逆伝播することを許されたとしても、$L_\infty$攻撃に対するロバスト性は、バニラDNNや既存の量子化されたDNNのアンサンブルと比較して大幅に向上した。 敵情報平面(AIP)における攻撃を検知し、ロバスト性プロファイルを生成する手法を拡張し、MIと精度を相関させて異なる脅威モデルの統一分析を行う。

関連論文リスト

• Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization [57.87950229651958]
  量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。 従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。 マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:46:53Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness [4.794745827538956]
  逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。 ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。 実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2021-10-23T22:11:30Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks [18.241639570479563]
  ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。 敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。 EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-21T17:17:09Z)
• Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
  スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。 本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T17:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。