論文の概要: ENOS: Energy-Aware Network Operator Search for Hybrid Digital and
Compute-in-Memory DNN Accelerators
- arxiv url: http://arxiv.org/abs/2104.05217v1
- Date: Mon, 12 Apr 2021 05:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 04:22:17.012247
- Title: ENOS: Energy-Aware Network Operator Search for Hybrid Digital and
Compute-in-Memory DNN Accelerators
- Title(参考訳): ENOS:ハイブリッドデジタルおよびコンピュートインメモリDNN加速器のためのエネルギー対応ネットワーク演算子探索
- Authors: Shamma Nasrin, Ahish Shylendra, Yuti Kadakia, Nick Iliev, Wilfred
Gomes, Theja Tulabandhula, and Amit Ranjan Trivedi
- Abstract要約: 本研究では、ディープニューラルネットワーク(DNN)アクセラレーターのエネルギー精度トレードオフに対処する、新しいEnergy-Aware Network Operator Search(ENOS)アプローチを提案する。
提案するenosフレームワークにより,推論演算子と計算モードの最適層分割により,所望のエネルギーと精度のバランスが達成できる。
- 参考スコア(独自算出の注目度): 1.8520017452993311
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This work proposes a novel Energy-Aware Network Operator Search (ENOS)
approach to address the energy-accuracy trade-offs of a deep neural network
(DNN) accelerator. In recent years, novel inference operators have been
proposed to improve the computational efficiency of a DNN. Augmenting the
operators, their corresponding novel computing modes have also been explored.
However, simplification of DNN operators invariably comes at the cost of lower
accuracy, especially on complex processing tasks. Our proposed ENOS framework
allows an optimal layer-wise integration of inference operators and computing
modes to achieve the desired balance of energy and accuracy. The search in ENOS
is formulated as a continuous optimization problem, solvable using typical
gradient descent methods, thereby scalable to larger DNNs with minimal increase
in training cost. We characterize ENOS under two settings. In the first
setting, for digital accelerators, we discuss ENOS on multiply-accumulate (MAC)
cores that can be reconfigured to different operators. ENOS training methods
with single and bi-level optimization objectives are discussed and compared. We
also discuss a sequential operator assignment strategy in ENOS that only learns
the assignment for one layer in one training step, enabling greater flexibility
in converging towards the optimal operator allocations. Furthermore, following
Bayesian principles, a sampling-based variational mode of ENOS is also
presented. ENOS is characterized on popular DNNs ShuffleNet and SqueezeNet on
CIFAR10 and CIFAR100.
- Abstract(参考訳): 本研究では、ディープニューラルネットワーク(DNN)アクセラレーターのエネルギー精度トレードオフに対処する、新しいEnergy-Aware Network Operator Search(ENOS)アプローチを提案する。
近年,DNNの計算効率を向上させるために新しい推論演算子が提案されている。
オペレーターを増強し、対応する新しいコンピューティングモードも検討されている。
しかし、DNN演算子の単純化は、特に複雑な処理タスクにおいて、低精度のコストが伴う。
提案するENOSフレームワークにより、推論演算子と計算モードを最適に階層的に統合し、所望のエネルギーと精度のバランスを実現する。
enosにおける探索は連続最適化問題として定式化され、典型的な勾配降下法を用いて解くことができ、トレーニングコストを最小にし、より大きなdnnに拡張できる。
ENOSを2つの設定で特徴付けます。
最初の設定では、デジタルアクセラレーターについて、異なるオペレーターに再設定できるマルチプライアキュムレート(mac)コアのenosについて論じる。
単段最適化と二段最適化を併用したENOS学習法について検討・比較を行った。
また、1つのトレーニングステップで1つのレイヤの割り当てのみを学ぶenosのシーケンシャルな演算子割当戦略についても検討し、最適なオペレータ割当に向けての収束の柔軟性を高める。
さらに、ベイズ原理に従って、ENOSのサンプリングに基づく変分モードも提示される。
ENOSは、CIFAR10とCIFAR100上の人気のあるDNNShuffleNetとSqueezeNetに特徴付けられる。
関連論文リスト
- Towards Hyperparameter-Agnostic DNN Training via Dynamical System
Insights [4.513581513983453]
本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。
本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-10-21T03:45:13Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。
パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
論文 参考訳(メタデータ) (2022-08-26T16:01:23Z) - Optimizing the Consumption of Spiking Neural Networks with Activity
Regularization [15.317534913990633]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。
本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
論文 参考訳(メタデータ) (2022-04-04T13:19:47Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-03-27T00:45:23Z) - Efficient On-Chip Learning for Optical Neural Networks Through
Power-Aware Sparse Zeroth-Order Optimization [12.052076188811052]
光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。
我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-21T07:00:39Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。