論文の概要: A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness

• arxiv url: http://arxiv.org/abs/2110.12308v1
• Date: Sat, 23 Oct 2021 22:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-31 19:49:50.743845
• Title: A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
• Title（参考訳）: ロバスト性向上のための層ワイズ対応量子化最適化
• Authors: Chang Song, Riya Ranjan, Hai Li
• Abstract要約: 逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。 ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。 実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
• 参考スコア（独自算出の注目度）: 4.794745827538956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are getting better accuracy with higher energy and computational cost. After quantization, the cost can be greatly saved, and the quantized models are more hardware friendly with acceptable accuracy loss. On the other hand, recent research has found that neural networks are vulnerable to adversarial attacks, and the robustness of a neural network model can only be improved with defense methods, such as adversarial training. In this work, we find that adversarially-trained neural networks are more vulnerable to quantization loss than plain models. To minimize both the adversarial and the quantization losses simultaneously and to make the quantized model robust, we propose a layer-wise adversarial-aware quantization method, using the Lipschitz constant to choose the best quantization parameter settings for a neural network. We theoretically derive the losses and prove the consistency of our metric selection. The experiment results show that our method can effectively and efficiently improve the robustness of quantized adversarially-trained neural networks.
• Abstract（参考訳）: ニューラルネットワークは、より高いエネルギーと計算コストで精度を高めている。 量子化後、コストは大幅に削減され、量子化モデルは許容される精度の損失に対してよりハードウェアフレンドリーである。 一方で、近年の研究では、ニューラルネットワークは敵の攻撃に対して脆弱であり、ニューラルネットワークモデルの頑健性は、敵のトレーニングのような防御方法によってのみ改善できることが示されている。 本研究では、逆学習ニューラルネットワークが、通常のモデルよりも量子化損失に対して脆弱であることを示す。 逆数と量子化の損失を同時に最小化し、量子化モデルを堅牢化するために、ニューラルネットワークの最適な量子化パラメータ設定を選択するために、Lipschitz定数を用いた層ワイド逆数認識量子化法を提案する。 理論的には損失を導出し、計量選択の一貫性を証明する。 実験の結果, 量子化逆学習ニューラルネットワークのロバスト性は, 効果的かつ効率的に向上できることがわかった。

関連論文リスト

• Towards Efficient Verification of Quantized Neural Networks [9.352320240912109]
  量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。 本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T00:43:13Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• On the Adversarial Robustness of Quantized Neural Networks [2.0625936401496237]
  モデル圧縮技術が敵対攻撃に対するAIアルゴリズムの堅牢性にどのように影響するかは不明である。 本稿では,最も一般的な圧縮手法である量子化がニューラルネットワークの対角的堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-05-01T11:46:35Z)
• Improving Adversarial Robustness in Weight-quantized Neural Networks [4.794745827538956]
  量子化は、ハードウェアプラットフォームにニューラルネットワークをデプロイする上で有用な技術である。 最近の研究では、完全な精度や量子化に関わらず、ニューラルネットワークモデルが敵の攻撃に弱いことが判明している。 境界に基づく再訓練法を提案し, 逆転損失と量子化損失を共に軽減する。
  論文  参考訳（メタデータ） (2020-12-29T22:50:17Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。