論文の概要: Improving Robustness Against Adversarial Attacks with Deeply Quantized
Neural Networks
- arxiv url: http://arxiv.org/abs/2304.12829v1
- Date: Tue, 25 Apr 2023 13:56:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 20:35:16.684722
- Title: Improving Robustness Against Adversarial Attacks with Deeply Quantized
Neural Networks
- Title（参考訳）: 深部量子化ニューラルネットワークによる敵攻撃に対するロバスト性の改善
- Authors: Ferheen Ayaz, Idris Zakariyya, Jos\'e Cano, Sye Loong Keoh, Jeremy
Singer, Danilo Pau, Mounia Kharbouche-Harrari
- Abstract要約: ディープニューラルネットワーク(DNN)の欠点は、入力にわずかな摂動を加えることで騙されるため、敵の攻撃に対する脆弱性である。
本稿では,対戦型ブラックボックス攻撃に対して堅牢な小型DNNモデルを考案し,自動量子化学習フレームワークを用いて訓練した結果を報告する。
- 参考スコア（独自算出の注目度）: 0.5849513679510833
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reducing the memory footprint of Machine Learning (ML) models, particularly
Deep Neural Networks (DNNs), is essential to enable their deployment into
resource-constrained tiny devices. However, a disadvantage of DNN models is
their vulnerability to adversarial attacks, as they can be fooled by adding
slight perturbations to the inputs. Therefore, the challenge is how to create
accurate, robust, and tiny DNN models deployable on resource-constrained
embedded devices. This paper reports the results of devising a tiny DNN model,
robust to adversarial black and white box attacks, trained with an automatic
quantizationaware training framework, i.e. QKeras, with deep quantization loss
accounted in the learning loop, thereby making the designed DNNs more accurate
for deployment on tiny devices. We investigated how QKeras and an adversarial
robustness technique, Jacobian Regularization (JR), can provide a
co-optimization strategy by exploiting the DNN topology and the per layer JR
approach to produce robust yet tiny deeply quantized DNN models. As a result, a
new DNN model implementing this cooptimization strategy was conceived,
developed and tested on three datasets containing both images and audio inputs,
as well as compared its performance with existing benchmarks against various
white-box and black-box attacks. Experimental results demonstrated that on
average our proposed DNN model resulted in 8.3% and 79.5% higher accuracy than
MLCommons/Tiny benchmarks in the presence of white-box and black-box attacks on
the CIFAR-10 image dataset and a subset of the Google Speech Commands audio
dataset respectively. It was also 6.5% more accurate for black-box attacks on
the SVHN image dataset.
- Abstract（参考訳）: 機械学習(ML)モデル、特にディープニューラルネットワーク(DNN)のメモリフットプリントを削減することは、リソースに制約のある小さなデバイスへのデプロイメントを可能にする上で不可欠である。
しかし、DNNモデルの欠点は、敵攻撃に対する脆弱性であり、入力にわずかな摂動を加えることで騙される可能性がある。
そのため、リソース制約のある組み込みデバイスにデプロイ可能な正確で堅牢で小さなDNNモデルをどうやって作るかが課題である。
本稿では,学習ループに深い量子化損失を考慮に入れたQKeras(QKeras)という,自動量子化対応トレーニングフレームワークでトレーニングした,敵のブラックボックス攻撃に対して堅牢な,小さなDNNモデルの開発結果について報告する。
そこで我々は,QKeras とヤコビアン正則化 (JR) が,DNN トポロジとJR 層ごとのアプローチを利用して,頑健で微妙に量子化された DNN モデルを生成することで,共最適化戦略を実現する方法について検討した。
その結果、この共最適化戦略を実装した新しいdnnモデルが、画像とオーディオの入力の両方を含む3つのデータセット上で考案、開発、テストされ、そのパフォーマンスは、ホワイトボックスとブラックボックスのさまざまな攻撃に対する既存のベンチマークと比較された。
実験結果から,提案したDNNモデルの平均精度は,CIFAR-10画像データセットとGoogle Speech Commands音声データセットのサブセットに対して,MLCommons/Tinyベンチマークのホワイトボックス,ブラックボックス攻撃の有無で8.3%,79.5%高かった。
SVHNイメージデータセットのブラックボックス攻撃でも6.5%精度が向上した。
関連論文リスト
- VQUNet: Vector Quantization U-Net for Defending Adversarial Atacks by Regularizing Unwanted Noise [0.5755004576310334]
本稿では,新たなノイズ低減手法であるベクトル量子化U-Net(VQUNet)を導入し,対向雑音を低減し,高忠実度でデータを再構成する。
VQUNetは、ノイズ低減とデータ再構成の両方のためのマルチスケール階層構造を通して、離散潜在表現学習を特徴とする。
これは、Fashion-MNISTとCIFAR10データセットの両方に対する様々な敵攻撃の下で、最先端のノイズ低減ベースの防衛手法より優れている。
論文 参考訳（メタデータ） (2024-06-05T10:10:03Z) - A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳（メタデータ） (2023-10-10T09:39:38Z) - Robust and Lossless Fingerprinting of Deep Neural Networks via Pooled
Membership Inference [17.881686153284267]
ディープニューラルネットワーク(DNN)は、すでに多くのアプリケーション分野で大きな成功を収めており、私たちの社会に大きな変化をもたらしています。
DNNの知的財産権(IP)を侵害から保護する方法は、最も重要かつ非常に困難なトピックの1つである。
本稿では,DNNモデルのIPを保護するために,Emphpooled Memberation Inference (PMI) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-09T04:06:29Z) - Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。
本稿では,WNN アーキテクチャ BTHOWeN を提案する。
BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文 参考訳（メタデータ） (2022-03-03T01:46:05Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - DeepSteal: Advanced Model Extractions Leveraging Efficient Weight
Stealing in Memories [26.067920958354]
Deep Neural Networks(DNN)のプライバシに対する大きな脅威の1つは、モデル抽出攻撃である。
最近の研究によると、ハードウェアベースのサイドチャネル攻撃はDNNモデル(例えばモデルアーキテクチャ)の内部知識を明らかにすることができる。
本稿では,メモリサイドチャネル攻撃の助けを借りてDNN重みを効果的に盗む,高度なモデル抽出攻撃フレームワークであるDeepStealを提案する。
論文 参考訳（メタデータ） (2021-11-08T16:55:45Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Improving Query Efficiency of Black-box Adversarial Attack [75.71530208862319]
ニューラルプロセスに基づくブラックボックス対逆攻撃(NP-Attack)を提案する。
NP-Attackはブラックボックス設定でクエリ数を大幅に削減できる。
論文 参考訳（メタデータ） (2020-09-24T06:22:56Z) - EMPIR: Ensembles of Mixed Precision Deep Networks for Increased
Robustness against Adversarial Attacks [18.241639570479563]
ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。
敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。
EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
論文 参考訳（メタデータ） (2020-04-21T17:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。