論文の概要: ARQ: A Mixed-Precision Quantization Framework for Accurate and Certifiably Robust DNNs

• arxiv url: http://arxiv.org/abs/2410.24214v2
• Date: Thu, 06 Feb 2025 02:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:39.384501
• Title: ARQ: A Mixed-Precision Quantization Framework for Accurate and Certifiably Robust DNNs
• Title（参考訳）: ARQ: 正確かつ精度の高いDNNのための混合精度量子化フレームワーク
• Authors: Yuchen Yang, Shubham Ugare, Yifan Zhao, Gagandeep Singh, Sasa Misailovic,
• Abstract要約: 混合精度量子化は、ディープニューラルネットワーク(DNN)の実行を最適化する重要な技術となっている。 異なる逆方向の摂動に耐えるモデルの能力に関する証明可能な保証を提供する認証された堅牢性は、量子化において対処されることはめったにない。 本稿では、革新的な混合精度量子化法であるARQを紹介する。
• 参考スコア（独自算出の注目度）: 15.43153209571646
• License:
• Abstract: Mixed precision quantization has become an important technique for optimizing the execution of deep neural networks (DNNs). Certified robustness, which provides provable guarantees about a model's ability to withstand different adversarial perturbations, has rarely been addressed in quantization due to unacceptably high cost of certifying robustness. This paper introduces ARQ, an innovative mixed-precision quantization method that not only preserves the clean accuracy of the smoothed classifiers but also maintains their certified robustness. ARQ uses reinforcement learning to find accurate and robust DNN quantization, while efficiently leveraging randomized smoothing, a popular class of statistical DNN verification algorithms. ARQ consistently performs better than multiple state-of-the-art quantization techniques across all the benchmarks and the input perturbation levels. The performance of ARQ quantized networks reaches that of the original DNN with floating-point weights, but with only 1.5% instructions and the highest certified radius. ARQ code is available at https://anonymous.4open.science/r/ARQ-FE4B.
• Abstract（参考訳）: 混合精度量子化はディープニューラルネットワーク(DNN)の実行を最適化する重要な技術となっている。 異なる敵の摂動に耐えるモデルの能力に関する証明可能な保証を提供する認証ロバスト性は、容認できないほど高いロバスト性証明コストのために量子化において対処されることはめったにない。 本稿では、スムーズな分類器のクリーンな精度を保ちつつ、その信頼性を保ちながら、新しい混合精度量子化手法であるARQを紹介する。 ARQは、強化学習を用いて正確で堅牢なDNN量子化を見つけるとともに、統計DNN検証アルゴリズムの一般的なクラスであるランダム化スムーシングを効率的に活用する。 ARQは、すべてのベンチマークと入力摂動レベルにわたって、複数の最先端量子化技術よりも一貫してパフォーマンスが良い。 ARQ量子化ネットワークの性能は、浮動小数点重みを持つ元のDNNの性能に達するが、命令はわずか1.5%で、高い認証半径を持つ。 ARQコードはhttps://anonymous.4open.science/r/ARQ-FE4Bで入手できる。

関連論文リスト

• SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks [1.0923877073891446]
  スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。 本稿では, ステートフルニューロンに対するQAT方式として, (i) 均一量子化戦略, (ii) 重み量子化の確立された方法, (ii) しきい値中心量子化の2つを紹介する。 以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T03:07:16Z)
• Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training [1.6098666134798774]
  ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T17:15:58Z)
• QVIP: An ILP-based Formal Verification Approach for Quantized Neural Networks [14.766917269393865]
  量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。 そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。 特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
  論文  参考訳（メタデータ） (2022-12-10T03:00:29Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Q-SpiNN: A Framework for Quantizing Spiking Neural Networks [14.727296040550392]
  精度を著しく低下させることなく、スパイキングニューラルネットワーク(SNN)のメモリフットプリントを削減するための顕著なテクニックは量子化である。 メモリ効率の高いSNNのための新しい量子化フレームワークQ-SpiNNを提案する。 教師なしネットワークでは、Q-SpiNNはメモリフットプリントを4倍削減し、MNISTデータセットのベースラインから1%以内の精度を維持する。 教師ネットワークでは、Q-SpiNNは、DVS-Gestureデータセットのベースラインから2%以内の精度を維持しながら、メモリを2倍削減する。
  論文  参考訳（メタデータ） (2021-07-05T06:01:15Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• On the learnability of quantum neural networks [132.1981461292324]
  本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。 また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T06:34:34Z)
• MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
  本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。 まず、様々な歪みに対してNR-IQAタスクを収集する。 次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。 大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-04-11T23:36:36Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。