論文の概要: Quantitative Analysis of Deeply Quantized Tiny Neural Networks Robust to Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2503.08973v1
• Date: Wed, 12 Mar 2025 00:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:28.645346
• Title: Quantitative Analysis of Deeply Quantized Tiny Neural Networks Robust to Adversarial Attacks
• Title（参考訳）: 敵攻撃に頑健な深部量子化Tinyニューラルネットの定量的解析
• Authors: Idris Zakariyya, Ferheen Ayaz, Mounia Kharbouche-Harrari, Jeremy Singer, Sye Loong Keoh, Danilo Pau, José Cano,
• Abstract要約: ディープニューラルネットワーク(DNN)の欠点は、敵の攻撃に対する感受性にある。 本稿では,ブラックボックス攻撃とホワイトボックス攻撃の両方に対してレジリエンスを示すコンパクトDNNモデルの結果を示す。 このレジリエンスは、QKeras量子化対応トレーニングフレームワークを使用したトレーニングを通じて達成されている。
• 参考スコア（独自算出の注目度）: 1.6975640673527588
• License:
• Abstract: Reducing the memory footprint of Machine Learning (ML) models, especially Deep Neural Networks (DNNs), is imperative to facilitate their deployment on resource-constrained edge devices. However, a notable drawback of DNN models lies in their susceptibility to adversarial attacks, wherein minor input perturbations can deceive them. A primary challenge revolves around the development of accurate, resilient, and compact DNN models suitable for deployment on resource-constrained edge devices. This paper presents the outcomes of a compact DNN model that exhibits resilience against both black-box and white-box adversarial attacks. This work has achieved this resilience through training with the QKeras quantization-aware training framework. The study explores the potential of QKeras and an adversarial robustness technique, Jacobian Regularization (JR), to co-optimize the DNN architecture through per-layer JR methodology. As a result, this paper has devised a DNN model employing this co-optimization strategy based on Stochastic Ternary Quantization (STQ). Its performance was compared against existing DNN models in the face of various white-box and black-box attacks. The experimental findings revealed that, the proposed DNN model had small footprint and on average, it exhibited better performance than Quanos and DS-CNN MLCommons/TinyML (MLC/T) benchmarks when challenged with white-box and black-box attacks, respectively, on the CIFAR-10 image and Google Speech Commands audio datasets.
• Abstract（参考訳）: 機械学習(ML)モデルのメモリフットプリントの削減、特にDeep Neural Networks(DNN)は、リソース制約のあるエッジデバイスへのデプロイメントを容易にするために不可欠である。 しかし、DNNモデルの顕著な欠点は、敵攻撃に対する感受性にある。 最大の課題は、リソース制約のあるエッジデバイスへのデプロイに適した正確でレジリエントでコンパクトなDNNモデルの開発に関するものだ。 本稿では,ブラックボックス攻撃とホワイトボックス攻撃の両方に対してレジリエンスを示すコンパクトDNNモデルの結果を示す。 この作業は、QKeras量子化対応トレーニングフレームワークを使用したトレーニングを通じて、このレジリエンスを達成した。 この研究は、QKeras と、層ごとの JR 手法による DNN アーキテクチャの協調最適化手法であるJacobian Regularization (JR) の可能性を探るものである。 その結果,Stochastic Ternary Quantization (STQ) に基づく協調最適化戦略を用いたDNNモデルを考案した。 その性能は、様々なホワイトボックスやブラックボックス攻撃に直面した既存のDNNモデルと比較された。 実験の結果、提案されたDNNモデルはフットプリントが小さく、平均的には、CIFAR-10イメージとGoogle Speech Commandsオーディオデータセットでそれぞれホワイトボックスとブラックボックスアタックに挑戦した場合、QuanosとDS-CNN MLCommons/TinyML(MLC/T)ベンチマークよりも優れたパフォーマンスを示した。

関連論文リスト

• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• Securing Graph Neural Networks in MLaaS: A Comprehensive Realization of Query-based Integrity Verification [68.86863899919358]
  我々は機械学習におけるGNNモデルをモデル中心の攻撃から保護するための画期的なアプローチを導入する。 提案手法は,GNNの完全性に対する包括的検証スキーマを含み,トランスダクティブとインダクティブGNNの両方を考慮している。 本稿では,革新的なノード指紋生成アルゴリズムを組み込んだクエリベースの検証手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T03:17:05Z)
• Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training [1.6098666134798774]
  ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T17:15:58Z)
• Improving Robustness Against Adversarial Attacks with Deeply Quantized Neural Networks [0.5849513679510833]
  ディープニューラルネットワーク(DNN)の欠点は、入力にわずかな摂動を加えることで騙されるため、敵の攻撃に対する脆弱性である。 本稿では,対戦型ブラックボックス攻撃に対して堅牢な小型DNNモデルを考案し,自動量子化学習フレームワークを用いて訓練した結果を報告する。
  論文  参考訳（メタデータ） (2023-04-25T13:56:35Z)
• Robust and Lossless Fingerprinting of Deep Neural Networks via Pooled Membership Inference [17.881686153284267]
  ディープニューラルネットワーク(DNN)は、すでに多くのアプリケーション分野で大きな成功を収めており、私たちの社会に大きな変化をもたらしています。 DNNの知的財産権(IP)を侵害から保護する方法は、最も重要かつ非常に困難なトピックの1つである。 本稿では,DNNモデルのIPを保護するために,Emphpooled Memberation Inference (PMI) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-09T04:06:29Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
  量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。 本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。 我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
  論文  参考訳（メタデータ） (2020-08-31T00:44:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。