論文の概要: Robustness-aware 2-bit quantization with real-time performance for neural network

• arxiv url: http://arxiv.org/abs/2010.11271v1
• Date: Mon, 19 Oct 2020 22:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 22:44:09.310522
• Title: Robustness-aware 2-bit quantization with real-time performance for neural network
• Title（参考訳）: ニューラルネットワークのリアルタイム性能を考慮したロバストネスアウェア2ビット量子化
• Authors: Xiaobin Li, Hongxu Jiang, Shuangxi Huang, Fangzheng Tian
• Abstract要約: ビット精度を下げた量子ニューラルネットワーク(NN)は、計算とメモリリソースの要求を減らす効果的なソリューションである。 本稿では,二元NNと生成対向ネットワーク(GAN)に基づくNNベースに対して,新しいロバスト性を考慮した2ビット量子化手法を提案する。
• 参考スコア（独自算出の注目度）: 2.4297433581603043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantized neural network (NN) with a reduced bit precision is an effective solution to reduces the computational and memory resource requirements and plays a vital role in machine learning. However, it is still challenging to avoid the significant accuracy degradation due to its numerical approximation and lower redundancy. In this paper, a novel robustness-aware 2-bit quantization scheme is proposed for NN base on binary NN and generative adversarial network(GAN), witch improves the performance by enriching the information of binary NN, efficiently extract the structural information and considering the robustness of the quantized NN. Specifically, using shift addition operation to replace the multiply-accumulate in the quantization process witch can effectively speed the NN. Meanwhile, a structural loss between the original NN and quantized NN is proposed to such that the structural information of data is preserved after quantization. The structural information learned from NN not only plays an important role in improving the performance but also allows for further fine tuning of the quantization network by applying the Lipschitz constraint to the structural loss. In addition, we also for the first time take the robustness of the quantized NN into consideration and propose a non-sensitive perturbation loss function by introducing an extraneous term of spectral norm. The experiments are conducted on CIFAR-10 and ImageNet datasets with popular NN( such as MoblieNetV2, SqueezeNet, ResNet20, etc). The experimental results show that the proposed algorithm is more competitive under 2-bit-precision than the state-of-the-art quantization methods. Meanwhile, the experimental results also demonstrate that the proposed method is robust under the FGSM adversarial samples attack.
• Abstract（参考訳）: ビット精度を下げた量子ニューラルネットワーク(NN)は、計算とメモリリソースの要求を減らし、機械学習において重要な役割を果たす効果的なソリューションである。 しかし, 数値近似と低冗長性により, 精度が著しく低下することを避けることは依然として困難である。 本稿では,二元NNと生成逆数ネットワーク(GAN)をベースとしたNNベースに対して,新しいロバスト性を考慮した2ビット量子化手法を提案し,二元NNの情報を強化し,構造情報を効率的に抽出し,量子化NNのロバスト性を考慮した。 具体的には、シフト加算演算を用いて量子化処理魔女における乗算累積を置き換えることにより、NNを効果的に高速化することができる。 一方、元のNNと量子化NNの間の構造的損失は、量子化後のデータ構造情報を保存するように提案する。 NNから学んだ構造情報は、性能向上に重要な役割を果たすだけでなく、構造損失にリプシッツ制約を適用することにより、量子化ネットワークをさらに微調整することができる。 さらに, 量子化nnのロバスト性を初めて考慮し, スペクトルノルムの外来項を導入することにより, 非感受性摂動損失関数を提案する。 実験は、一般的なNN(MoblieNetV2、SqueezeNet、ResNet20など)を使用したCIFAR-10とImageNetデータセットで実施されている。 実験の結果,提案アルゴリズムは最先端の量子化法よりも2ビット精度で競合することがわかった。 また,提案手法はFGSM対逆サンプル攻撃下では頑健であることを示す実験結果を得た。

関連論文リスト

• ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
  本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。 本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。 本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T05:31:11Z)
• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• Scaling Model Checking for DNN Analysis via State-Space Reduction and Input Segmentation (Extended Version) [12.272381003294026]
  既存のフレームワークは、トレーニングされたNNに対して堅牢性と/または安全性を保証する。 我々は、広範囲のNNプロパティを分析するための最初のモデルチェックベースのフレームワークであるFANNetを提案した。 本研究は,形式的NN解析のスケーラビリティとタイミング効率を向上させるために,状態空間の削減と入力セグメント化手法を開発する。
  論文  参考訳（メタデータ） (2023-06-29T22:18:07Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization [6.1664476076961146]
  一様精度ニューラルネットワーク量子化は、高計算能力のために高密度に充填された演算ユニットを単純化したため、人気を集めている。 層間の量子化誤差の影響に対して不均一な感度を無視し、結果として準最適推論をもたらす。 本研究は,超低精度量子化による精度劣化を軽減するために,ニューラルネットワーク構造を調整するニューラルチャネル拡張と呼ばれる新しいニューラルアーキテクチャ探索を提案する。
  論文  参考訳（メタデータ） (2022-12-21T09:41:25Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• On the Acceleration of Deep Neural Network Inference using Quantized Compressed Sensing [0.0]
  量子化圧縮センシング(QCS)に基づく新しいバイナリ量子化関数を提案する。 提案手法は, 量子化誤差を低減し, 精度を低下させるとともに, 標準手法の実用的メリットを保っている。
  論文  参考訳（メタデータ） (2021-08-23T12:03:24Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。