Fugu-MT 論文翻訳(概要): TNN7: A Custom Macro Suite for Implementing Highly Optimized Designs of Neuromorphic TNNs

論文の概要: TNN7: A Custom Macro Suite for Implementing Highly Optimized Designs of Neuromorphic TNNs

arxiv url: http://arxiv.org/abs/2205.07410v1
Date: Mon, 16 May 2022 01:03:41 GMT
ステータス: 処理完了
システム内更新日: 2022-05-17 18:00:06.707231
Title: TNN7: A Custom Macro Suite for Implementing Highly Optimized Designs of Neuromorphic TNNs
Title（参考訳）: TNN7:ニューロモルフィックTNNの高度に最適化された設計を実装するカスタムマクロスイート
Authors: Harideep Nair, Prabhu Vellaisamy, Santha Bhasuthkar, and John Paul Shen
Abstract要約: TNN(Temporal Neural Networks)は、エネルギー効率の高いオンラインセンサ処理能力を示す。 TNN7は、予測 7nm Process Design Kit (PDK) を用いて開発された9つの高度に最適化されたカスタムマクロのスイートである。競争性能を提供する教師なしの時系列クラスタリングTNNは40UWの電力と0.05mm2の領域で実装できる。 MNISTエラー率1%の4層TNNは18mWと24.63mm2しか消費しない。
参考スコア（独自算出の注目度）: 2.9068923524970227
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Temporal Neural Networks (TNNs), inspired from the mammalian neocortex, exhibit energy-efficient online sensory processing capabilities. Recent works have proposed a microarchitecture design framework for implementing TNNs and demonstrated competitive performance on vision and time-series applications. Building on them, this work proposes TNN7, a suite of nine highly optimized custom macros developed using a predictive 7nm Process Design Kit (PDK), to enhance the efficiency, modularity and flexibility of the TNN design framework. TNN prototypes for two applications are used for evaluation of TNN7. An unsupervised time-series clustering TNN delivering competitive performance can be implemented within 40 uW power and 0.05 mm^2 area, while a 4-layer TNN that achieves an MNIST error rate of 1% consumes only 18 mW and 24.63 mm^2. On average, the proposed macros reduce power, delay, area, and energy-delay product by 14%, 16%, 28%, and 45%, respectively. Furthermore, employing TNN7 significantly reduces the synthesis runtime of TNN designs (by more than 3x), allowing for highly-scaled TNN implementations to be realized.
Abstract（参考訳）: 哺乳類のネオコルテックスに触発されたTNNは、エネルギー効率のよいオンライン感覚処理能力を示す。最近の研究は、TNNの実装のためのマイクロアーキテクチャ設計フレームワークを提案し、視覚および時系列アプリケーション上での競合性能を示した。 TNN7は、予測 7nm Process Design Kit (PDK) を用いて開発された9つの高度に最適化されたカスタムマクロのスイートで、TNN設計フレームワークの効率、モジュール性、柔軟性を向上させる。 2つのアプリケーションのためのTNNプロトタイプは、TNN7の評価に使用される。競合性能を提供する教師なしの時系列クラスタリングTNNは40UWのパワーと0.05mm^2の範囲で実装でき、MNISTエラー率1%の4層TNNは18mWと24.63mm^2しか消費しない。提案したマクロは電力,遅延,面積,エネルギー遅延生成物をそれぞれ14%,16%,28%,45%削減する。さらに、TNN7を使用することで、TNN設計の合成ランタイム(3倍以上)を大幅に削減し、高スケールのTNN実装を実現することができる。

関連論文リスト

Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文参考訳（メタデータ） (2024-10-08T14:27:28Z)
MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds [2.3531574267580035]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率を提供する精度損失を軽減し,SNNの精度を大幅に向上させるMultiple Threshold (MT) 手法を提案する。 CIFAR10, CIFAR100, ImageNet, DVS-CIFAR10データセットに対する実験により, MTモードがシングルスレッドSNNの性能を大幅に向上することを示した。
論文参考訳（メタデータ） (2023-03-20T14:04:50Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-03-11T15:55:34Z)
Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文参考訳（メタデータ） (2022-03-03T01:46:05Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
Dynamically Throttleable Neural Networks (TNN) [24.052859278938858]
ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。我々は,自身のパフォーマンス目標と計算資源を適応的に自己制御できるランタイムスロットルブルニューラルネットワーク(TNN)を提案する。
論文参考訳（メタデータ） (2020-11-01T20:17:42Z)
Direct CMOS Implementation of Neuromorphic Temporal Neural Networks for Sensory Processing [4.084672048082021]
時間的ニューラルネットワーク(TNN)は、哺乳類の新皮質の行動を模倣し、情報を表現し、処理するためのリソースとして時間を使用する。本研究は,市販のディジタルCMOS技術を用いたTNNの実装に焦点を当てる。
論文参考訳（メタデータ） (2020-08-27T20:36:34Z)
FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。そこで本研究では、3次内積の計算複雑性を2。性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文参考訳（メタデータ） (2020-08-12T04:26:18Z)
SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文参考訳（メタデータ） (2020-05-07T12:12:49Z)
Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network [53.47564132861866]
マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。 8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
論文参考訳（メタデータ） (2020-02-03T02:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。