論文の概要: Integer-arithmetic-only Certified Robustness for Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2108.09413v1
• Date: Sat, 21 Aug 2021 01:15:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:53:55.151546
• Title: Integer-arithmetic-only Certified Robustness for Quantized Neural Networks
• Title（参考訳）: Integer-arithmetic-only Certified Robustness for Quantized Neural Networks
• Authors: Haowen Lin, Jian Lou, Li Xiong and Cyrus Shahabi
• Abstract要約: 敵の例に対処する一連の作業は、ランダムな平滑化による堅牢性を保証する。 このようなメカニズムは通常、推論の計算に浮動小数点演算を使用する。 提案手法は,浮動小数点演算によるロバストな手法よりも精度と4x5xの高速化が得られることを示す。
• 参考スコア（独自算出の注目度）: 14.737638416823772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial data examples have drawn significant attention from the machine learning and security communities. A line of work on tackling adversarial examples is certified robustness via randomized smoothing that can provide a theoretical robustness guarantee. However, such a mechanism usually uses floating-point arithmetic for calculations in inference and requires large memory footprints and daunting computational costs. These defensive models cannot run efficiently on edge devices nor be deployed on integer-only logical units such as Turing Tensor Cores or integer-only ARM processors. To overcome these challenges, we propose an integer randomized smoothing approach with quantization to convert any classifier into a new smoothed classifier, which uses integer-only arithmetic for certified robustness against adversarial perturbations. We prove a tight robustness guarantee under L2-norm for the proposed approach. We show our approach can obtain a comparable accuracy and 4x~5x speedup over floating-point arithmetic certified robust methods on general-purpose CPUs and mobile devices on two distinct datasets (CIFAR-10 and Caltech-101).
• Abstract（参考訳）: 敵対的なデータ例は、機械学習とセキュリティコミュニティから大きな注目を集めている。 反対例に取り組むための一連の研究は、理論的な堅牢性を保証するためのランダムな平滑化によって、堅牢性を保証する。 しかし、そのような機構は通常、推論の計算に浮動小数点演算を使い、大きなメモリフットプリントと計算コストを犠牲にする。 これらの防御モデルは、エッジデバイス上で効率的に動作したり、チューリングテンソルコアや整数専用ARMプロセッサのような整数専用論理ユニットにデプロイすることはできない。 これらの課題を克服するために,任意の分類器を新しいスムーズな分類器に変換するために,量子化を用いた整数ランダム化平滑化手法を提案する。 提案手法ではL2-ノルムの下で強靭性を保証する。 提案手法は,2つの異なるデータセット(CIFAR-10とCaltech-101)上の汎用CPUおよびモバイルデバイス上で,浮動小数点演算によるロバストな手法に対して,同等の精度と4倍～5倍の高速化が得られることを示す。

関連論文リスト

• Few-Shot Testing: Estimating Uncertainty of Memristive Deep Neural Networks Using One Bayesian Test Vector [0.0]
  我々は,memristorベースのCIMハードウェア上に実装されたNNのモデル不確かさを推定できるテストベクトル生成フレームワークを提案する。 提案手法は, 異なるモデル次元, タスク, 故障率, 変動ノイズに基づいて評価し, メモリオーバーヘッドを0.024ドルに抑えながら, 100%のカバレッジを連続的に達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-29T08:53:16Z)
• Quantum Sparse Coding [5.130440339897477]
  我々はスパース符号化のための量子インスピレーション付きアルゴリズムを開発した。 量子コンピュータとイジングマシンの出現は、より正確な推定につながる可能性がある。 我々はLightrの量子インスパイアされたデジタルプラットフォーム上でシミュレーションデータを用いて数値実験を行う。
  論文  参考訳（メタデータ） (2022-09-08T13:00:30Z)
• Getting a-Round Guarantees: Floating-Point Attacks on Certified Robustness [19.380453459873298]
  敵の例は、わずかな入力摂動によって機械学習分類器の決定を変更できるため、セキュリティリスクを引き起こす。 これらの保証は、ラウンドエラーを引き起こす浮動小数点表現の制限により無効化可能であることを示す。 この攻撃は、正確な認証保証を持つ線形分類器や、保守的な認証を持つニューラルネットワークに対して実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:07:36Z)
• REx: Data-Free Residual Quantization Error Expansion [32.87131159997359]
  ディープニューラルネットワーク(DNN)はコンピュータビジョンや自然言語処理においてユビキタスであるが、高い推論コストに悩まされている。 プライバシの権利に関する懸念が高まる中、私たちはデータフリーな方法に注力しています。 本稿では,残差展開とグループ間隔,アンサンブル近似を併用した並列化手法RExを提案する。
  論文  参考訳（メタデータ） (2022-03-28T11:04:45Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
  分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。 一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。 これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
  論文  参考訳（メタデータ） (2021-03-17T21:49:53Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。