論文の概要: Nearest is Not Dearest: Towards Practical Defense against Quantization-conditioned Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2405.12725v1
• Date: Tue, 21 May 2024 12:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:29:38.965362
• Title: Nearest is Not Dearest: Towards Practical Defense against Quantization-conditioned Backdoor Attacks
• Title（参考訳）: 量子化を前提としたバックドア攻撃に対する現実的な防御を目指すNearest
• Authors: Boheng Li, Yishuo Cai, Haowei Li, Feng Xue, Zhifeng Li, Yiming Li,
• Abstract要約: 最近の研究は、量子化条件付バックドア(QCB)を埋め込むことで、兵器化モデル量子化の実現可能性を明らかにしている。 QCBの特異性のため、既存の防衛は脅威を減らすか、あるいは不可能である。 本稿では,QCBに対する有効かつ実用的な防御法であるEFRAP(Error-guided Flipped Rounding with Activation Preservation)を提案する。
• 参考スコア（独自算出の注目度）: 18.547646133429993
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model quantization is widely used to compress and accelerate deep neural networks. However, recent studies have revealed the feasibility of weaponizing model quantization via implanting quantization-conditioned backdoors (QCBs). These special backdoors stay dormant on released full-precision models but will come into effect after standard quantization. Due to the peculiarity of QCBs, existing defenses have minor effects on reducing their threats or are even infeasible. In this paper, we conduct the first in-depth analysis of QCBs. We reveal that the activation of existing QCBs primarily stems from the nearest rounding operation and is closely related to the norms of neuron-wise truncation errors (i.e., the difference between the continuous full-precision weights and its quantized version). Motivated by these insights, we propose Error-guided Flipped Rounding with Activation Preservation (EFRAP), an effective and practical defense against QCBs. Specifically, EFRAP learns a non-nearest rounding strategy with neuron-wise error norm and layer-wise activation preservation guidance, flipping the rounding strategies of neurons crucial for backdoor effects but with minimal impact on clean accuracy. Extensive evaluations on benchmark datasets demonstrate that our EFRAP can defeat state-of-the-art QCB attacks under various settings. Code is available at https://github.com/AntigoneRandy/QuantBackdoor_EFRAP.
• Abstract（参考訳）: モデル量子化はディープニューラルネットワークの圧縮と高速化に広く用いられている。 しかし、最近の研究では、量子化条件付バックドア(QCB)を埋め込むことで、モデル量子化の兵器化の可能性を明らかにしている。 これらの特別なバックドアは、放出された完全精度モデルに休息するが、標準量子化後に有効になる。 QCBの特異性のため、既存の防衛は脅威を減らすか、あるいは不可能である。 本稿では,QCBの詳細な分析を行う。 既存のQCBの活性化は、主に最も近い丸い操作から来ており、ニューロンの回り誤差(連続的全精度重みと量子化バージョンの違い)のノルムと密接に関連していることを明らかにする。 これらの知見に触発されて,QCBに対する効果的かつ実用的な防御法であるEFRAP(Error-guided Flipped Rounding with Activation Preservation)を提案する。 具体的には、ERFAPは、神経学的エラー規範と層的アクティベーション保存ガイダンスを備えた非アレストラウンドリング戦略を学び、バックドア効果に不可欠なニューロンのラウンドング戦略を、クリーンな精度に最小限の影響で反転させる。 ベンチマークデータセットの大規模な評価は、EFRAPが様々な設定下で最先端のQCB攻撃を破ることができることを示している。 コードはhttps://github.com/AntigoneRandy/QuantBackdoor_EFRAPで公開されている。

関連論文リスト

• IBD-PSC: Input-level Backdoor Detection via Parameter-oriented Scaling Consistency [20.61046457594186]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 本稿では、悪意のあるテスト画像のフィルタリングを行うための、シンプルで効果的な入力レベルのバックドア検出(IBD-PSCと呼ばれる)を提案する。
  論文  参考訳（メタデータ） (2024-05-16T03:19:52Z)
• David and Goliath: An Empirical Evaluation of Attacks and Defenses for QNNs at the Deep Edge [0.9606184401853288]
  量子化(quantization)は、MCUへのニューラルネットワークの展開を可能にするための、確立されたテクニックである。 我々は,非拘束QNNからの攻撃と防御の有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-04-08T17:14:32Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• RIBAC: Towards Robust and Imperceptible Backdoor Attack against Compact DNN [28.94653593443991]
  近年のバックドア攻撃は、ディープニューラルネットワーク(DNN)モデルのセキュリティに対する新たな脅威となっている。 本稿では,コンパクトDNNモデル(RIBAC)に対するロバストおよび非受容性バックドアアタックの研究と開発について述べる。
  論文  参考訳（メタデータ） (2022-08-22T21:27:09Z)
• Few-shot Backdoor Defense Using Shapley Estimation [123.56934991060788]
  我々は、深層ニューラルネットワークに対するバックドア攻撃を軽減するために、Shapley Pruningと呼ばれる新しいアプローチを開発した。 ShapPruningは、感染した数少ないニューロン(全ニューロンの1%以下)を特定し、モデルの構造と正確性を保護する。 様々な攻撃やタスクに対して,本手法の有効性とロバスト性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-30T02:27:03Z)
• Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes [5.865029600972316]
  量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低精度の数値に変換する技術である。 逆量子化結果を実装するための新しいトレーニングフレームワークを提案する。 1つの妥協されたモデルが複数の量子化スキームを破ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T10:09:49Z)
• Red Alarm for Pre-trained Models: Universal Vulnerability to Neuron-Level Backdoor Attacks [98.15243373574518]
  事前訓練されたモデル(PTM)は、下流の様々なタスクで広く使われている。 本研究では,バックドアアタックによって微調整されたPTMを容易に制御できるPTMの普遍的脆弱性を実証する。
  論文  参考訳（メタデータ） (2021-01-18T10:18:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。