論文の概要: QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks

• arxiv url: http://arxiv.org/abs/2004.11233v2
• Date: Sat, 27 Jun 2020 13:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:40:37.509242
• Title: QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks
• Title（参考訳）: ニューラルネットワークの逆雑音感度駆動型ハイブリッド量子化
• Authors: Priyadarshini Panda
• Abstract要約: QUINOSは、逆雑音感度(ANS)に基づく層特異的ハイブリッド量子化を行うフレームワークである CIFAR10, CIFAR100データセットを用いた実験により, QUINOSは対向ロバスト性の観点から, 均一に量子化された8ビット精度のベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 3.2242513084255036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have been shown to be vulnerable to adversarial attacks, wherein, a model gets fooled by applying slight perturbations on the input. With the advent of Internet-of-Things and the necessity to enable intelligence in embedded devices, low-power and secure hardware implementation of DNNs is vital. In this paper, we investigate the use of quantization to potentially resist adversarial attacks. Several recent studies have reported remarkable results in reducing the energy requirement of a DNN through quantization. However, no prior work has considered the relationship between adversarial sensitivity of a DNN and its effect on quantization. We propose QUANOS- a framework that performs layer-specific hybrid quantization based on Adversarial Noise Sensitivity (ANS). We identify a novel noise stability metric (ANS) for DNNs, i.e., the sensitivity of each layer's computation to adversarial noise. ANS allows for a principled way of determining optimal bit-width per layer that incurs adversarial robustness as well as energy-efficiency with minimal loss in accuracy. Essentially, QUANOS assigns layer significance based on its contribution to adversarial perturbation and accordingly scales the precision of the layers. A key advantage of QUANOS is that it does not rely on a pre-trained model and can be applied in the initial stages of training. We evaluate the benefits of QUANOS on precision scalable Multiply and Accumulate (MAC) hardware architectures with data gating and subword parallelism capabilities. Our experiments on CIFAR10, CIFAR100 datasets show that QUANOS outperforms homogenously quantized 8-bit precision baseline in terms of adversarial robustness (3%-4% higher) while yielding improved compression (>5x) and energy savings (>2x) at iso-accuracy.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されており、入力にわずかな摂動を適用することでモデルが騙される。 インターネットの出現と組み込みデバイスにおけるインテリジェンスの実現の必要性により、DNNの低消費電力でセキュアなハードウェア実装が不可欠である。 本稿では,敵対的攻撃に対する量子化の利用について検討する。 最近のいくつかの研究では、量子化によるDNNのエネルギー要求を減少させる顕著な結果が報告されている。 しかしながら、DNNの対向感度と量子化に対するその効果の関係について、先行研究は検討されていない。 本稿では,逆雑音感度(ANS)に基づく層固有のハイブリッド量子化を行うフレームワークであるQUINOSを提案する。 本研究では,dnnのための新しい雑音安定度指標(ans)を同定し,逆雑音に対する各層計算の感度について検討した。 ANSは、最適ビット幅を1層あたり決定する原理的な方法を可能にし、敵のロバスト性やエネルギー効率を最小限の精度で損なうことができる。 本質的にquanosは、その逆摂動への寄与に基づいて層の重要性を割り当て、それゆえ層の精度をスケールする。 QUINOSの重要な利点は、事前訓練されたモデルに依存しておらず、訓練の初期段階に適用できる点である。 我々は,データゲーティングとサブワード並列処理機能を備えたmacハードウェアアーキテクチャにおけるquanosの利点を評価する。 CIFAR10, CIFAR100データセットを用いた実験の結果, QUINOSは, 対向ロバスト性(3%-4%高), 圧縮性(>5x) と省エネ性(>2x)を等精度で向上させながら, 均一に定量化した8ビット精度のベースラインより優れていることがわかった。

関連論文リスト

• The Inherent Adversarial Robustness of Analog In-Memory Computing [2.435021773579434]
  Deep Neural Network(DNN)アルゴリズムの重要な課題は、敵の攻撃に対する脆弱性である。 本稿では,位相変化メモリ(PCM)デバイスを用いたAIMCチップ上での予測を実験的に検証する。 ハードウェア・イン・ザ・ループ攻撃を行う際には、さらなる堅牢性も観察される。
  論文  参考訳（メタデータ） (2024-11-11T14:29:59Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
  パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。 本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。 本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-08T16:25:20Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks [0.9176056742068814]
  ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T09:12:29Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Noise Sensitivity-Based Energy Efficient and Robust Adversary Detection in Neural Networks [3.125321230840342]
  逆の例は、愚かな分類器ネットワークに注意深く浸透した入力であり、一方で人間には変化がない。 本稿では,深層ニューラルネットワーク(DNN)を検出器サブネットワークで拡張する構造化手法を提案する。 本手法は,実例に対する最先端検出器のロバスト性が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-05T14:31:53Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。