論文の概要: Investigating the Impact of Quantization on Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2404.05639v1
• Date: Mon, 8 Apr 2024 16:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:45:54.566856
• Title: Investigating the Impact of Quantization on Adversarial Robustness
• Title（参考訳）: 量子化が対向ロバスト性に及ぼす影響の検討
• Authors: Qun Li, Yuan Meng, Chen Tang, Jiacheng Jiang, Zhi Wang,
• Abstract要約: 量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善する技術である。 現実のシナリオでは、量子化されたモデルは、しばしば逆攻撃に直面する。 我々は、ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を、初めて分析する。
• 参考スコア（独自算出の注目度）: 22.637585106574722
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quantization is a promising technique for reducing the bit-width of deep models to improve their runtime performance and storage efficiency, and thus becomes a fundamental step for deployment. In real-world scenarios, quantized models are often faced with adversarial attacks which cause the model to make incorrect inferences by introducing slight perturbations. However, recent studies have paid less attention to the impact of quantization on the model robustness. More surprisingly, existing studies on this topic even present inconsistent conclusions, which prompted our in-depth investigation. In this paper, we conduct a first-time analysis of the impact of the quantization pipeline components that can incorporate robust optimization under the settings of Post-Training Quantization and Quantization-Aware Training. Through our detailed analysis, we discovered that this inconsistency arises from the use of different pipelines in different studies, specifically regarding whether robust optimization is performed and at which quantization stage it occurs. Our research findings contribute insights into deploying more secure and robust quantized networks, assisting practitioners in reference for scenarios with high-security requirements and limited resources.
• Abstract（参考訳）: 量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善するための有望な技術であり、デプロイメントの基本的なステップとなる。 現実のシナリオでは、量子化されたモデルはしばしば敵の攻撃に直面する。 しかし、近年の研究では、量子化がモデルロバスト性に与える影響についてはあまり注目されていない。 さらに驚くべきことに、このトピックに関する既存の研究には矛盾する結論さえ出ており、それが我々の詳細な調査を引き起こした。 本稿では,ポストトレーニング量子化と量子アウェアトレーニングの設定の下で,ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を,初めて分析する。 詳細な分析を通して、この矛盾は異なる研究で異なるパイプラインを用いることによって生じ、特にロバストな最適化が実行され、量子化の段階が生じるかどうかについて明らかになった。 我々の研究結果は、よりセキュアで堅牢な量子化されたネットワークの展開に関する洞察に寄与し、高いセキュリティ要件と限られたリソースのシナリオを参照して実践者を支援する。

関連論文リスト

• Saliency Assisted Quantization for Neural Networks [0.0]
  本稿では,学習期間中にリアルタイムな説明を提供することにより,深層学習モデルのブラックボックスの性質に対処する。 我々は資源制約に対処するために確立された量子化手法を用いる。 提案手法の有効性を評価するため,量子化が畳み込みニューラルネットワークの解釈可能性や精度に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-07T05:16:26Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [17.43650511873449]
  大規模言語モデル(LLM)は、優れた性能と堅牢な推論能力を示すが、その拡張サイズは、相当なリソース消費のために、デプロイメントを複雑にし、環境上の懸念を増す。 我々は量子化LDMの性能を高める革新的な手法を開発した。 我々の手法は、様々な量子化シナリオをまたいだ最先端の結果を一貫して提供し、量子化プロセスに関する深い理論的洞察を提供し、広く応用するための量子化モデルのポテンシャルを解明する。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Effect of Weight Quantization on Learning Models by Typical Case Analysis [6.9060054915724]
  最近のデータ分析スケールの急増は、計算リソースの要求を大幅に増加させた。 量子化は、限られた計算資源を持つデバイスに大規模なモデルをデプロイするのに不可欠である。
  論文  参考訳（メタデータ） (2024-01-30T18:58:46Z)
• RobustMQ: Benchmarking Robustness of Quantized Models [54.15661421492865]
  量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 我々は、ImageNet上の様々なノイズ(障害攻撃、自然破壊、系統的なノイズ)に対する量子化モデルのロバスト性について、徹底的に評価した。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
  論文  参考訳（メタデータ） (2023-08-04T14:37:12Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• Benchmarking the Robustness of Quantized Models [12.587947681480909]
  量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 このトピックに関する既存の研究は限定的であり、しばしば確立された評価原則を無視している。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
  論文  参考訳（メタデータ） (2023-04-08T09:34:55Z)
• Counterfactual Learning with Multioutput Deep Kernels [0.0]
  本稿では,観測データを用いた反実的推論の課題に対処する。 本稿では、因果効果を推定し、適切にポリシーを学習する、対実的マルチタスクディープカーネルモデルの一般的なクラスを示す。
  論文  参考訳（メタデータ） (2022-11-20T23:28:41Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。