Fugu-MT 論文翻訳(概要): Signed Binary Weight Networks

論文の概要: Signed Binary Weight Networks

arxiv url: http://arxiv.org/abs/2211.13838v3
Date: Tue, 5 Dec 2023 03:55:38 GMT
ステータス: 処理完了
システム内更新日: 2023-12-06 20:28:43.142986
Title: Signed Binary Weight Networks
Title（参考訳）: 符号付きバイナリウェイトネットワーク
Authors: Sachit Kuhar, Alexey Tumanov, Judy Hoffman
Abstract要約: 2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
参考スコア（独自算出の注目度）: 17.07866119979333
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Efficient inference of Deep Neural Networks (DNNs) is essential to making AI ubiquitous. Two important algorithmic techniques have shown promise for enabling efficient inference - sparsity and binarization. These techniques translate into weight sparsity and weight repetition at the hardware-software level enabling the deployment of DNNs with critically low power and latency requirements. We propose a new method called signed-binary networks to improve efficiency further (by exploiting both weight sparsity and weight repetition together) while maintaining similar accuracy. Our method achieves comparable accuracy on ImageNet and CIFAR10 datasets with binary and can lead to 69% sparsity. We observe real speedup when deploying these models on general-purpose devices and show that this high percentage of unstructured sparsity can lead to a further reduction in energy consumption on ASICs.
Abstract（参考訳）: AIをユビキタスにするためには、ディープニューラルネットワーク(DNN)の効率的な推論が不可欠である。効率的な推論を可能にする2つの重要なアルゴリズム技術 - sparsityとbinarization。これらの技術は、ハードウェア・ソフトウェアレベルでの重みの幅と重みの繰り返しに変換され、電力と遅延の要求が極端に低いDNNをデプロイできる。類似の精度を維持しつつ(重み空間と重み繰り返しを両立させることにより)効率を向上する,符号二元ネットワークと呼ばれる新しい手法を提案する。本手法は,imagenet および cifar10 データセットにおいて,バイナリで同等の精度を実現し,69%のスパーシティを実現する。汎用デバイスにこれらのモデルをデプロイする際の実際のスピードアップを観察し、この高い非構造空間がASICのエネルギー消費のさらなる削減につながることを示す。

関連論文リスト

Signed Binarization: Unlocking Efficiency Through Repetition-Sparsity Trade-Off [2.6144163646666945]
本稿では,反復スパーシティートレードオフの概念を導入し,推論時の計算効率を説明する。我々は,このトレードオフに対応するために,ハードウェア・ソフトウェアシステム,量子化関数,表現学習技術を統合した統合協調設計フレームワークであるSigned Binarizationを提案する。提案手法は,実ハードウェア上で26%の高速化を実現し,エネルギー効率を2倍にし,ResNet 18の2進法に比べて密度を2.8倍削減する。
論文参考訳（メタデータ） (2023-12-04T02:33:53Z)
Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
論文参考訳（メタデータ） (2023-09-05T08:00:01Z)
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文参考訳（メタデータ） (2022-11-13T18:31:45Z)
Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文参考訳（メタデータ） (2022-09-30T06:33:40Z)
BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文参考訳（メタデータ） (2022-02-14T05:16:53Z)
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks [0.0]
本稿では,既存のハードウェア上での二重スパースネットワークの性能を大幅に向上させる手法であるComplementary Sparsityを紹介する。 FPGAのスループットとエネルギー効率を最大100倍向上させる。我々の結果は、重量とアクティベーションの間隔が将来のAIモデルを効率的にスケーリングするための強力な組み合わせになり得ることを示唆している。
論文参考訳（メタデータ） (2021-12-27T20:41:01Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。