論文の概要: Improving Efficiency in Neural Network Accelerator Using Operands
Hamming Distance optimization
- arxiv url: http://arxiv.org/abs/2002.05293v1
- Date: Thu, 13 Feb 2020 00:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 10:00:41.541703
- Title: Improving Efficiency in Neural Network Accelerator Using Operands
Hamming Distance optimization
- Title(参考訳): オペランドハミング距離最適化を用いたニューラルネットワーク加速器の効率改善
- Authors: Meng Li and Yilei Li and Pierce Chuang and Liangzhen Lai and Vikas
Chandra
- Abstract要約: データパスのエネルギーは、入力オペランドを演算ユニットにストリーミングする際にビットフリップと高い相関を示す。
本稿では,加速器とネットワークの協調最適化のための学習後最適化アルゴリズムとハミング距離対応トレーニングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 11.309076080980828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network accelerator is a key enabler for the on-device AI inference,
for which energy efficiency is an important metric. The data-path energy,
including the computation energy and the data movement energy among the
arithmetic units, claims a significant part of the total accelerator energy. By
revisiting the basic physics of the arithmetic logic circuits, we show that the
data-path energy is highly correlated with the bit flips when streaming the
input operands into the arithmetic units, defined as the hamming distance of
the input operand matrices. Based on the insight, we propose a post-training
optimization algorithm and a hamming-distance-aware training algorithm to
co-design and co-optimize the accelerator and the network synergistically. The
experimental results based on post-layout simulation with MobileNetV2
demonstrate on average 2.85X data-path energy reduction and up to 8.51X
data-path energy reduction for certain layers.
- Abstract(参考訳): ニューラルネットワークアクセラレータは、エネルギー効率が重要な指標であるオンデバイスai推論の重要な実現手段である。
データパスエネルギー(計算エネルギーと演算単位間のデータ移動エネルギーを含む)は、総加速エネルギーのかなりの部分を占めている。
演算論理回路の基本物理を再検討することにより,入力オペランドを演算単位に流す際に,入力オペランド行列のハミング距離として定義されるビットフリップとデータパスエネルギーが強く相関することを示す。
この知見に基づいて,加速器とネットワークを相乗的に共設計・共設計するための学習後最適化アルゴリズムとハミング距離対応訓練アルゴリズムを提案する。
MobileNetV2によるポストレイアウトシミュレーションに基づく実験結果は、平均2.85倍のデータパスエネルギーと最大8.51倍のデータパスエネルギーの削減を示す。
関連論文リスト
- Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations [0.49478969093606673]
BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T00:27:19Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [82.74500224090265]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T17:56:39Z) - Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。
GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
論文 参考訳(メタデータ) (2023-11-05T11:48:08Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:37:23Z) - DSLOT-NN: Digit-Serial Left-to-Right Neural Network Accelerator [0.6435156676256051]
本稿では,DSLOT-NNと呼ばれる,Digital-Serial left-tO-righT演算に基づく処理手法を提案する。
提案された研究は、大規模な電力と省エネをもたらす非効率な畳み込みを評価し、終わらせる能力を持っている。
論文 参考訳(メタデータ) (2023-09-12T07:36:23Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳(メタデータ) (2022-12-03T21:40:55Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳(メタデータ) (2022-09-30T06:33:40Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳(メタデータ) (2022-04-20T19:09:52Z) - Dynamic Scheduling for Over-the-Air Federated Edge Learning with Energy
Constraints [44.311278843238675]
アナログ勾配アグリゲーションを用いた空対空FEELシステムについて検討する。
トレーニング性能を最適化するために,エネルギーを考慮した動的デバイススケジューリングアルゴリズムを提案する。
高度に不均衡なローカルデータ分布の下では、提案アルゴリズムは精度を4.9%向上させることができる。
論文 参考訳(メタデータ) (2021-05-31T08:55:02Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳(メタデータ) (2020-12-22T02:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。