論文の概要: ShiftAddNet: A Hardware-Inspired Deep Network

• arxiv url: http://arxiv.org/abs/2010.12785v1
• Date: Sat, 24 Oct 2020 05:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 13:30:45.951511
• Title: ShiftAddNet: A Hardware-Inspired Deep Network
• Title（参考訳）: ShiftAddNet: ハードウェアにインスパイアされたディープネットワーク
• Authors: Haoran You, Xiaohan Chen, Yongan Zhang, Chaojian Li, Sicheng Li, Zihao Liu, Zhangyang Wang, Yingyan Lin
• Abstract要約: ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
• 参考スコア（独自算出の注目度）: 87.18216601210763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiplication (e.g., convolution) is arguably a cornerstone of modern deep neural networks (DNNs). However, intensive multiplications cause expensive resource costs that challenge DNNs' deployment on resource-constrained edge devices, driving several attempts for multiplication-less deep networks. This paper presented ShiftAddNet, whose main inspiration is drawn from a common practice in energy-efficient hardware implementation, that is, multiplication can be instead performed with additions and logical bit-shifts. We leverage this idea to explicitly parameterize deep networks in this way, yielding a new type of deep network that involves only bit-shift and additive weight layers. This hardware-inspired ShiftAddNet immediately leads to both energy-efficient inference and training, without compromising the expressive capacity compared to standard DNNs. The two complementary operation types (bit-shift and add) additionally enable finer-grained control of the model's learning capacity, leading to more flexible trade-off between accuracy and (training) efficiency, as well as improved robustness to quantization and pruning. We conduct extensive experiments and ablation studies, all backed up by our FPGA-based ShiftAddNet implementation and energy measurements. Compared to existing DNNs or other multiplication-less models, ShiftAddNet aggressively reduces over 80% hardware-quantified energy cost of DNNs training and inference, while offering comparable or better accuracies. Codes and pre-trained models are available at https://github.com/RICE-EIC/ShiftAddNet.
• Abstract（参考訳）: 乗算(例えば畳み込み)は現代のディープニューラルネットワーク(DNN)の基盤である。 しかし、集中的な乗算は、リソース制約のあるエッジデバイスへのdnnの配置に挑戦する高価なリソースコストを引き起こす。 本稿では,エネルギー効率のよいハードウェア実装における一般的な実践から着想を得たShiftAddNetについて述べる。 我々はこのアイデアを利用してディープネットワークをパラメータ化し、ビットシフト層と加算重み層のみを含む新しいタイプのディープネットワークを作り出す。 このハードウェアにインスパイアされたShiftAddNetは、エネルギー効率のよい推論とトレーニングの両方を、標準のDNNと比較して表現能力を損なうことなく即座に実現する。 2つの補完的な操作タイプ(ビットシフトと加算)により、モデルの学習能力のよりきめ細かい制御が可能となり、精度と(トレーニング)効率のトレードオフがより柔軟になり、量子化とプルーニングの堅牢性が向上する。 我々は、FPGAベースのShiftAddNetの実装とエネルギー測定によって支えられた広範な実験とアブレーション研究を行っている。 既存のDNNや他の乗算なしモデルと比較して、ShiftAddNetは、DNNのトレーニングと推論のハードウェア量化エネルギーコストの80%以上を積極的に削減し、同等またはより良い精度を提供する。 コードと事前学習されたモデルはhttps://github.com/rice-eic/shiftaddnetで入手できる。

関連論文リスト

• Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
  我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:33:40Z)
• DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization [27.231327287238102]
  本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-08-20T15:17:40Z)
• DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks [29.46621102184345]
  ハードウェアフレンドリーなコンパクトネットワークを開発するために,DepthShrinkerというフレームワークを提案する。 我々のフレームワークは、最先端のDNNや圧縮技術より優れたハードウェアフレンドリーなコンパクトネットワークを提供する。
  論文  参考訳（メタデータ） (2022-06-02T02:32:47Z)
• ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks [42.28659737268829]
  ShiftAddNASは、より正確で効率的なNNを自動的に検索できる。 ShiftAddNASは、乗算ベースと乗算自由演算子の両方を組み込んだ最初のハイブリッド検索空間を統合する。 ShiftAddNASの有効性は実験とアブレーション研究で一貫して検証されている。
  論文  参考訳（メタデータ） (2022-05-17T06:40:13Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。