論文の概要: Benchmarking the Robustness of Quantized Models

• arxiv url: http://arxiv.org/abs/2304.03968v1
• Date: Sat, 8 Apr 2023 09:34:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 18:33:30.304048
• Title: Benchmarking the Robustness of Quantized Models
• Title（参考訳）: 量子化モデルのロバスト性ベンチマーク
• Authors: Yisong Xiao, Tianyuan Zhang, Shunchang Liu, Haotong Qin
• Abstract要約: 量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 このトピックに関する既存の研究は限定的であり、しばしば確立された評価原則を無視している。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
• 参考スコア（独自算出の注目度）: 12.587947681480909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization has emerged as an essential technique for deploying deep neural networks (DNNs) on devices with limited resources. However, quantized models exhibit vulnerabilities when exposed to various noises in real-world applications. Despite the importance of evaluating the impact of quantization on robustness, existing research on this topic is limited and often disregards established principles of robustness evaluation, resulting in incomplete and inconclusive findings. To address this gap, we thoroughly evaluated the robustness of quantized models against various noises (adversarial attacks, natural corruptions, and systematic noises) on ImageNet. Extensive experiments demonstrate that lower-bit quantization is more resilient to adversarial attacks but is more susceptible to natural corruptions and systematic noises. Notably, our investigation reveals that impulse noise (in natural corruptions) and the nearest neighbor interpolation (in systematic noises) have the most significant impact on quantized models. Our research contributes to advancing the robust quantization of models and their deployment in real-world scenarios.
• Abstract（参考訳）: 量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイするための重要な技術として登場した。 しかし、量子化モデルは、現実世界のアプリケーションで様々なノイズにさらされると脆弱性を示す。 量子化がロバスト性に与える影響を評価することの重要性にもかかわらず、このトピックに関する既存の研究は限定的であり、しばしばロバスト性評価の確立された原則を無視し、不完全かつ不確定な結果をもたらす。 このギャップに対処するため,我々は,imagenetにおける様々なノイズ(攻撃攻撃,自然腐敗,系統的ノイズ)に対する量子化モデルのロバスト性について徹底的に評価した。 広範な実験により、低ビット量子化は敵の攻撃に対してより弾力性があるが、自然の腐敗や体系的なノイズの影響を受けやすいことが示されている。 特に本研究では、インパルスノイズ(自然汚染)と近接補間(系統ノイズ)が、量子化モデルに最も大きな影響を及ぼすことを明らかにした。 我々の研究は、モデルの堅牢な定量化と実際のシナリオへの展開に寄与する。

関連論文リスト

• Investigating the Impact of Quantization on Adversarial Robustness [22.637585106574722]
  量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善する技術である。 現実のシナリオでは、量子化されたモデルは、しばしば逆攻撃に直面する。 我々は、ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を、初めて分析する。
  論文  参考訳（メタデータ） (2024-04-08T16:20:15Z)
• Flexible Error Mitigation of Quantum Processes with Data Augmentation Empowered Neural Model [9.857921247636451]
  誤り軽減のためのデータ拡張強化型ニューラルモデルを提案する。 我々のモデルは、特定のノイズタイプや測定設定に関する事前の知識を必要としない。 対象の量子プロセスのノイズ測定結果のみからノイズフリー統計を推定することができる。
  論文  参考訳（メタデータ） (2023-11-03T05:52:14Z)
• RobustMQ: Benchmarking Robustness of Quantized Models [54.15661421492865]
  量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。 我々は、ImageNet上の様々なノイズ(障害攻撃、自然破壊、系統的なノイズ)に対する量子化モデルのロバスト性について、徹底的に評価した。 我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
  論文  参考訳（メタデータ） (2023-08-04T14:37:12Z)
• Exponentially tighter bounds on limitations of quantum error mitigation [2.936007114555107]
  短期量子コンピューティングにおいて、望ましくない、避けられない誤りに対処する手段として、量子エラー軽減法が提案されている。 本研究では,より大きなシステムサイズに対して,量子ノイズを効果的に排除できる程度に強い制約を課す。
  論文  参考訳（メタデータ） (2022-10-20T18:12:42Z)
• Mixed-Precision Inference Quantization: Radically Towards Faster inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
  既存の量子化技術は、経験と「微調整」スキルに大きく依存している。 本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。 特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
  論文  参考訳（メタデータ） (2022-07-20T10:55:34Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。