論文の概要: Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes

• arxiv url: http://arxiv.org/abs/2110.13541v1
• Date: Tue, 26 Oct 2021 10:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 16:11:39.775180
• Title: Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes
• Title（参考訳）: Qu-ANTI-zation:敵対的成果を達成するための量子化アーティファクトの爆発
• Authors: Sanghyun Hong, Michael-Andrei Panaitescu-Liess, Yi\u{g}itcan Kaya, Tudor Dumitra\c{s}
• Abstract要約: 量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低精度の数値に変換する技術である。 逆量子化結果を実装するための新しいトレーニングフレームワークを提案する。 1つの妥協されたモデルが複数の量子化スキームを破ることを示す。
• 参考スコア（独自算出の注目度）: 5.865029600972316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization is a popular technique that $transforms$ the parameter representation of a neural network from floating-point numbers into lower-precision ones ($e.g.$, 8-bit integers). It reduces the memory footprint and the computational cost at inference, facilitating the deployment of resource-hungry models. However, the parameter perturbations caused by this transformation result in $behavioral$ $disparities$ between the model before and after quantization. For example, a quantized model can misclassify some test-time samples that are otherwise classified correctly. It is not known whether such differences lead to a new security vulnerability. We hypothesize that an adversary may control this disparity to introduce specific behaviors that activate upon quantization. To study this hypothesis, we weaponize quantization-aware training and propose a new training framework to implement adversarial quantization outcomes. Following this framework, we present three attacks we carry out with quantization: (i) an indiscriminate attack for significant accuracy loss; (ii) a targeted attack against specific samples; and (iii) a backdoor attack for controlling the model with an input trigger. We further show that a single compromised model defeats multiple quantization schemes, including robust quantization techniques. Moreover, in a federated learning scenario, we demonstrate that a set of malicious participants who conspire can inject our quantization-activated backdoor. Lastly, we discuss potential counter-measures and show that only re-training consistently removes the attack artifacts. Our code is available at https://github.com/Secure-AI-Systems-Group/Qu-ANTI-zation
• Abstract（参考訳）: 量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低い精度(例えば8ビット整数)に変換する一般的なテクニックである。 これにより、メモリフットプリントと推論の計算コストが削減され、リソースハングモデルのデプロイが容易になる。 しかし、この変換によって引き起こされるパラメータの摂動は、量子化前後のモデル間で$behavioral$$disparities$となる。 例えば、量子化モデルは、他の方法で正しく分類されたテスト時間サンプルを誤って分類することができる。 このような違いが新たなセキュリティ脆弱性につながるかどうかは不明だ。 我々は、敵対者がこの格差を制御し、量子化時に活性化する特定の行動を導入することができると仮定する。 この仮説を研究するために,量子化認識トレーニングを武器化し,逆量子化結果を実現するための新しい学習枠組みを提案する。 この枠組みに従うと、量子化で行う3つの攻撃を示す。 (i)相当な精度の損失に対する無差別な攻撃 (ii)特定の試料に対する標的攻撃 (iii)入力トリガーでモデルを制御するバックドア攻撃。 さらに,単一モデルが複数の量子化スキーム(ロバスト量子化手法を含む)を打ち破ることを示した。 さらに,フェデレーション学習シナリオでは,コンスパイアした悪意のある参加者が,量子化によって活性化されたバックドアを注入できることを実証する。 最後に,潜在的な対策策を議論し,再トレーニングのみが攻撃成果物を取り除くことを実証する。 私たちのコードはhttps://github.com/Secure-AI-Systems-Group/Qu-ANTI-zationで利用可能です。

関連論文リスト

• Membership Inference Attacks on Diffusion Models via Quantile Regression [30.30033625685376]
  我々は,家族関係推論(MI)攻撃による拡散モデルのプライバシー上の脆弱性を実証する。 提案したMI攻撃は、トレーニングに使用されていない例における再構成損失の分布を予測(定量化)する量子レグレッションモデルを学習する。 我々の攻撃は従来の最先端攻撃よりも優れており、計算コストは著しく低い。
  論文  参考訳（メタデータ） (2023-12-08T16:21:24Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
  CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
  論文  参考訳（メタデータ） (2023-03-06T17:48:32Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Defending Variational Autoencoders from Adversarial Attacks with MCMC [74.36233246536459]
  変分オートエンコーダ(VAE)は、様々な領域で使用される深部生成モデルである。 以前の研究が示すように、視覚的にわずかに修正された入力に対する予期せぬ潜在表現と再構成を生成するために、VAEを簡単に騙すことができる。 本稿では, 敵攻撃構築のための目的関数について検討し, モデルのロバスト性を評価する指標を提案し, 解決策を提案する。
  論文  参考訳（メタデータ） (2022-03-18T13:25:18Z)
• Tolerating Adversarial Attacks and Byzantine Faults in Distributed Machine Learning [12.464625883462515]
  敵対的攻撃は、人工知能と機械学習モデルのトレーニング、再訓練、活用を妨害しようとする。 本稿では,敵対的攻撃を防御し,ビザンチン断層を許容する分散学習アルゴリズムParSGDを提案する。 以上の結果から,ParSGDを用いたMLモデルでは,攻撃を受けていないか,ノードのほぼ半数が障害を受けたか,あるいは障害が発生していないか,というような正確な予測が可能であることがわかった。
  論文  参考訳（メタデータ） (2021-09-05T07:55:02Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Practical No-box Adversarial Attacks against DNNs [31.808770437120536]
  我々は、攻撃者がモデル情報やトレーニングセットにアクセスしたり、モデルに問い合わせたりできない、ノンボックスの逆例を調査する。 非常に小さなデータセットでトレーニングを行うための3つのメカニズムを提案し、プロトタイプの再構築が最も効果的であることを示す。 提案手法は, システムの平均予測精度を15.40%に低下させ, 事前学習したArcfaceモデルから, 敵のサンプルを転送する攻撃と同等にする。
  論文  参考訳（メタデータ） (2020-12-04T11:10:03Z)
• Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks [25.23881974235643]
  バックドア攻撃は、引き起こされたサンプルの周りでよりスムーズな決定関数を誘導することを示します。 実験の結果,入力サンプルにトリガーを付加するとスムーズさが増加し,この現象はより成功した攻撃に対してより顕著であることがわかった。
  論文  参考訳（メタデータ） (2020-06-11T18:28:54Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。