論文の概要: PowerPruning: Selecting Weights and Activations for Power-Efficient Neural Network Acceleration

• arxiv url: http://arxiv.org/abs/2303.13997v2
• Date: Mon, 27 Nov 2023 10:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 16:42:56.846398
• Title: PowerPruning: Selecting Weights and Activations for Power-Efficient Neural Network Acceleration
• Title（参考訳）: powerpruning: ニューラルネットワーク高速化のための重みとアクティベーションの選択
• Authors: Richard Petri, Grace Li Zhang, Yiran Chen, Ulf Schlichtmann, Bing Li
• Abstract要約: 本稿では、MAC演算における電力消費の低減につながる重みを選択することにより、デジタルニューラルネットワークアクセラレーターにおける消費電力を低減する新しい手法を提案する。 再トレーニングと合わせて,ハードウェア上でのDNNの消費電力を78.3%削減する手法を提案する。
• 参考スコア（独自算出の注目度）: 8.72556779535502
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) have been successfully applied in various fields. A major challenge of deploying DNNs, especially on edge devices, is power consumption, due to the large number of multiply-and-accumulate (MAC) operations. To address this challenge, we propose PowerPruning, a novel method to reduce power consumption in digital neural network accelerators by selecting weights that lead to less power consumption in MAC operations. In addition, the timing characteristics of the selected weights together with all activation transitions are evaluated. The weights and activations that lead to small delays are further selected. Consequently, the maximum delay of the sensitized circuit paths in the MAC units is reduced even without modifying MAC units, which thus allows a flexible scaling of supply voltage to reduce power consumption further. Together with retraining, the proposed method can reduce power consumption of DNNs on hardware by up to 78.3% with only a slight accuracy loss.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な分野に適用されている。 DNNを特にエッジデバイスにデプロイする際の大きな課題は、多数の乗算および累積(MAC)操作のために消費電力である。 この課題に対処するため,我々は,mac 操作の消費電力を減少させる重みを選択することで,デジタルニューラルネットワーク加速器の消費電力を削減する新しい手法であるpowerpruningを提案する。 また、選択された重みと全ての活性化遷移のタイミング特性を評価する。 より小さな遅延につながる重みと活性化がさらに選択される。 これにより、MACユニットを変更することなくMACユニットの感度回路パスの最大遅延を低減し、サプライ電圧の柔軟なスケーリングを可能にし、電力消費をさらに削減できる。 リトレーニングとともに、提案手法はハードウェア上でのdnnの消費電力を最大78.3%削減できるが、精度の低下は少ない。

関連論文リスト

• Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
  人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。 本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。 電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-31T10:54:34Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Logic Design of Neural Networks for High-Throughput and Low-Power Applications [4.964773661192363]
  本稿では,ニューロンにおけるすべての操作,例えばMACやReLUを,対応する論理回路を備えたニューラルネットワークでフラット化し,実装することを提案する。 重み値をMACユニットに埋め込んで論理を単純化することにより、MACユニットの遅延と重み移動による消費電力を低減することができる。 さらに,ニューラルネットワークの論理設計の領域を削減するためのハードウェア・アウェア・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T10:45:46Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。 本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
  論文  参考訳（メタデータ） (2022-04-04T13:19:47Z)
• Energy awareness in low precision neural networks [41.69995577490698]
  電力消費は、エンドデバイスにディープニューラルネットワーク(DNN)を配置する際の大きな障害である。 低消費電力の固定精度変種を用いて全精度ネットワークを近似するための簡単なアプローチであるPANNを提案する。 従来の手法とは対照的に、PANNは2ビット量子化変量器のパワーバッジで作業する場合でも、ネットワークの完全精度バージョンであるW.r.t.の精度をわずかに低下させるだけである。
  論文  参考訳（メタデータ） (2022-02-06T14:44:55Z)
• Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
  エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。 本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
  論文  参考訳（メタデータ） (2021-09-17T08:55:48Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural Network for Energy Harvesting Powered Devices [17.165614326127287]
  この研究は、EH(Energy-harvesting)駆動デバイスに対して、永続的でイベント駆動のセンシングと意思決定機能を実現することを目的としている。 我々は,マルチ出口ニューラルネットワークをEHマイクロコントローラに圧縮・展開するためのパワートレース認識および出口誘導型ネットワーク圧縮アルゴリズムを開発した。 実験は最先端技術と比較して精度とレイテンシが優れている。
  論文  参考訳（メタデータ） (2020-04-23T16:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。