Fugu-MT 論文翻訳(概要): Signed Binary Weight Networks: Improving Efficiency of Binary Weight Networks by Exploiting Sparsity

論文の概要: Signed Binary Weight Networks: Improving Efficiency of Binary Weight Networks by Exploiting Sparsity

arxiv url: http://arxiv.org/abs/2211.13838v1
Date: Fri, 25 Nov 2022 00:19:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-28 18:41:13.432531
Title: Signed Binary Weight Networks: Improving Efficiency of Binary Weight Networks by Exploiting Sparsity
Title（参考訳）: 符号付き二分重みネットワーク:スパーシティを利用した二分重みネットワークの効率向上
Authors: Sachit Kuhar, Alexey Tumanov, Judy Hoffman
Abstract要約: 2つの重要なアルゴリズム技術は、効率的な推論を可能にすることを約束している。そこで本研究では,さらに効率を向上するために,署名バイナリネットワークと呼ばれる新しい手法を提案する。この非構造空間の高割合はASICのエネルギー消費をさらに2倍に減少させる可能性があることを示す。
参考スコア（独自算出の注目度）: 11.93664682521114
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Efficient inference of Deep Neural Networks (DNNs) is essential to making AI ubiquitous. Two important algorithmic techniques have shown promise for enabling efficient inference - sparsity and binarization. These techniques translate into weight sparsity and weight repetition at the hardware-software level allowing the deployment of DNNs with critically low power and latency requirements. We propose a new method called signed-binary networks to improve further efficiency (by exploiting both weight sparsity and weight repetition) while maintaining similar accuracy. Our method achieves comparable accuracy on ImageNet and CIFAR10 datasets with binary and can lead to $>69\%$ sparsity. We observe real speedup when deploying these models on general-purpose devices. We show that this high percentage of unstructured sparsity can lead to a further ~2x reduction in energy consumption on ASICs with respect to binary.
Abstract（参考訳）: AIをユビキタスにするためには、ディープニューラルネットワーク(DNN)の効率的な推論が不可欠である。効率的な推論を可能にする2つの重要なアルゴリズム技術 - sparsityとbinarization。これらの技術は、ハードウェア・ソフトウェアレベルでの重みの幅と重みの繰り返しに変換され、電力とレイテンシの要件が極めて低いDNNをデプロイできる。重みのスパース性と重みの繰り返しを生かして)類似の精度を維持しつつ、さらに効率を向上させるための符号付きバイナリネットワークという新しい手法を提案する。本手法は,imagenet および cifar10 データセットのバイナリと同等の精度を実現し,$>69\%$ sparsity となる。汎用デバイスにこれらのモデルをデプロイする際の実際のスピードアップを観察する。この非構造的疎度の高い割合は、二進数に関してASICのエネルギー消費をさらに2倍に減少させる可能性があることを示す。

関連論文リスト

Signed Binarization: Unlocking Efficiency Through Repetition-Sparsity Trade-Off [2.6144163646666945]
本稿では,反復スパーシティートレードオフの概念を導入し,推論時の計算効率を説明する。我々は,このトレードオフに対応するために,ハードウェア・ソフトウェアシステム,量子化関数,表現学習技術を統合した統合協調設計フレームワークであるSigned Binarizationを提案する。提案手法は,実ハードウェア上で26%の高速化を実現し,エネルギー効率を2倍にし,ResNet 18の2進法に比べて密度を2.8倍削減する。
論文参考訳（メタデータ） (2023-12-04T02:33:53Z)
Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
論文参考訳（メタデータ） (2023-09-05T08:00:01Z)
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文参考訳（メタデータ） (2022-11-13T18:31:45Z)
Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文参考訳（メタデータ） (2022-09-30T06:33:40Z)
BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文参考訳（メタデータ） (2022-02-14T05:16:53Z)
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks [0.0]
本稿では,既存のハードウェア上での二重スパースネットワークの性能を大幅に向上させる手法であるComplementary Sparsityを紹介する。 FPGAのスループットとエネルギー効率を最大100倍向上させる。我々の結果は、重量とアクティベーションの間隔が将来のAIモデルを効率的にスケーリングするための強力な組み合わせになり得ることを示唆している。
論文参考訳（メタデータ） (2021-12-27T20:41:01Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。