論文の概要: Improved Gradient based Adversarial Attacks for Quantized Networks
- arxiv url: http://arxiv.org/abs/2003.13511v2
- Date: Wed, 29 Dec 2021 17:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 07:00:20.690354
- Title: Improved Gradient based Adversarial Attacks for Quantized Networks
- Title（参考訳）: 量子化ネットワークに対するグラディエントベース逆アタックの改善
- Authors: Kartik Gupta, Thalaiyasingam Ajanthan
- Abstract要約: 量子化されたネットワークは、勾配が消える問題に悩まされ、頑健さの偽の感覚を示す。
トレーニングネットワークにおける信号伝搬の低下に起因する勾配の低減により,この問題を緩和するための簡単な温度スケーリング手法を導入する。
- 参考スコア（独自算出の注目度）: 15.686134908061995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network quantization has become increasingly popular due to efficient
memory consumption and faster computation resulting from bitwise operations on
the quantized networks. Even though they exhibit excellent generalization
capabilities, their robustness properties are not well-understood. In this
work, we systematically study the robustness of quantized networks against
gradient based adversarial attacks and demonstrate that these quantized models
suffer from gradient vanishing issues and show a fake sense of robustness. By
attributing gradient vanishing to poor forward-backward signal propagation in
the trained network, we introduce a simple temperature scaling approach to
mitigate this issue while preserving the decision boundary. Despite being a
simple modification to existing gradient based adversarial attacks, experiments
on multiple image classification datasets with multiple network architectures
demonstrate that our temperature scaled attacks obtain near-perfect success
rate on quantized networks while outperforming original attacks on
adversarially trained models as well as floating-point networks. Code is
available at https://github.com/kartikgupta-at-anu/attack-bnn.
- Abstract（参考訳）: ニューラルネットワークの量子化は、効率的なメモリ消費と量子化ネットワーク上のビット単位での演算による高速計算によって、ますます普及している。
優れた一般化能力を示すものの、その堅牢性は十分に理解されていない。
本研究では,勾配に基づく敵攻撃に対する量子化ネットワークのロバスト性について体系的に研究し,これらの量子化モデルが勾配消滅問題に悩まされていることを示す。
トレーニングネットワークにおける信号伝搬の低下に起因する勾配の低減により,決定境界を保ちながらこの問題を緩和するための簡単な温度スケーリング手法を導入する。
既存の勾配に基づく逆数攻撃の簡単な修正にもかかわらず、複数のネットワークアーキテクチャを用いた複数の画像分類データセットの実験により、我々の温度スケール攻撃は、量子化されたネットワーク上でほぼ完璧に成功し、同時に、逆数訓練されたモデルや浮動小数点ネットワークに対する元の攻撃よりも優れていることを示した。
コードはhttps://github.com/kartikgupta-at-anu/attack-bnnで入手できる。
関連論文リスト
- Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。
本稿では,LGM(Leaded Gradient Method)を提案する。
我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文 参考訳（メタデータ） (2022-10-15T01:32:08Z) - DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two
Quantization [27.231327287238102]
本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。
様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-08-20T15:17:40Z) - Dynamics-aware Adversarial Attack of 3D Sparse Convolution Network [75.1236305913734]
ディープニューラルネットワークにおける動的に認識される敵攻撃問題について検討する。
ほとんどの既存の敵攻撃アルゴリズムは基本的な前提の下で設計されており、ネットワークアーキテクチャは攻撃プロセス全体を通して固定されている。
本稿では,LGM(Leaded Gradient Method)を提案する。
論文 参考訳（メタデータ） (2021-12-17T10:53:35Z) - Meta Adversarial Perturbations [66.43754467275967]
メタ逆境摂動(MAP)の存在を示す。
MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。
これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
論文 参考訳（メタデータ） (2021-11-19T16:01:45Z) - A Layer-wise Adversarial-aware Quantization Optimization for Improving
Robustness [4.794745827538956]
逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。
ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。
実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
論文 参考訳（メタデータ） (2021-10-23T22:11:30Z) - On the Adversarial Robustness of Quantized Neural Networks [2.0625936401496237]
モデル圧縮技術が敵対攻撃に対するAIアルゴリズムの堅牢性にどのように影響するかは不明である。
本稿では,最も一般的な圧縮手法である量子化がニューラルネットワークの対角的堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2021-05-01T11:46:35Z) - Implicit Under-Parameterization Inhibits Data-Efficient Deep
Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。
AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文 参考訳（メタデータ） (2020-10-27T17:55:16Z) - Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。
提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
論文 参考訳（メタデータ） (2020-10-21T02:13:26Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳（メタデータ） (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。