論文の概要: WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic

• arxiv url: http://arxiv.org/abs/2007.13242v1
• Date: Sun, 26 Jul 2020 23:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 19:46:37.351599
• Title: WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic
• Title（参考訳）: WrapNet:Ultra-Low-Resolution Arithmeticを用いたニューラルネット推論
• Authors: Renkun Ni, Hong-min Chu, Oscar Casta\~neda, Ping-yeh Chiang, Christoph Studer, Tom Goldstein
• Abstract要約: ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。 ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 57.07483440807549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-resolution neural networks represent both weights and activations with few bits, drastically reducing the multiplication complexity. Nonetheless, these products are accumulated using high-resolution (typically 32-bit) additions, an operation that dominates the arithmetic complexity of inference when using extreme quantization (e.g., binary weights). To further optimize inference, we propose a method that adapts neural networks to use low-resolution (8-bit) additions in the accumulators, achieving classification accuracy comparable to their 32-bit counterparts. We achieve resilience to low-resolution accumulation by inserting a cyclic activation layer, as well as an overflow penalty regularizer. We demonstrate the efficacy of our approach on both software and hardware platforms.
• Abstract（参考訳）: 低分解能ニューラルネットワークは、重みとアクティベーションの両方をビット数で表現し、乗算複雑性を大幅に減少させる。 にもかかわらず、これらの積は高分解能(典型的には32ビット)加算を用いて蓄積され、極端な量子化(例えば二元重みなど)を使用する場合の推論の計算の複雑さを支配する演算である。 推論をさらに最適化するために,ニューラルネットワークをアキュムレータの低解像度(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。 循環活性化層とオーバーフローペナルティレギュレータを挿入することにより, 低分解能蓄積に対するレジリエンスを実現する。 ソフトウェアおよびハードウェアプラットフォーム上でのアプローチの有効性を実証する。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
  我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:33:40Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
  深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。 ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。 提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
  論文  参考訳（メタデータ） (2022-02-24T23:33:47Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Sparse Uncertainty Representation in Deep Learning with Inducing Weights [22.912675044223302]
  我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。 提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
  論文  参考訳（メタデータ） (2021-05-30T18:17:47Z)
• Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
  ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。 トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。 提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
  論文  参考訳（メタデータ） (2020-05-27T11:56:22Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。