Fugu-MT 論文翻訳(概要): xTern: Energy-Efficient Ternary Neural Network Inference on RISC-V-Based Edge Systems

論文の概要: xTern: Energy-Efficient Ternary Neural Network Inference on RISC-V-Based Edge Systems

arxiv url: http://arxiv.org/abs/2405.19065v1
Date: Wed, 29 May 2024 13:16:46 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 17:10:39.201753
Title: xTern: Energy-Efficient Ternary Neural Network Inference on RISC-V-Based Edge Systems
Title（参考訳）: xTern:RISC-Vベースエッジシステムにおけるエネルギー効率の良い3次ニューラルネットワーク推論
Authors: Georg Rutishauser, Joan Mihali, Moritz Scherer, Luca Benini,
Abstract要約: 3次ニューラルネットワーク(TNN)は、バイナリニューラルネットワークに比べて精度とエネルギーのトレードオフが優れている。汎用コア上でのTNN推論の高速化を目的としたRISC-V命令セットアーキテクチャの軽量拡張であるxTernを提案する。以上の結果から,XTernはRISC-Vベースの超低消費電力エッジAIプラットフォームを,TNNの効率性の恩恵を受けることができることがわかった。
参考スコア（独自算出の注目度）: 11.488297094967377
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ternary neural networks (TNNs) offer a superior accuracy-energy trade-off compared to binary neural networks. However, until now, they have required specialized accelerators to realize their efficiency potential, which has hindered widespread adoption. To address this, we present xTern, a lightweight extension of the RISC-V instruction set architecture (ISA) targeted at accelerating TNN inference on general-purpose cores. To complement the ISA extension, we developed a set of optimized kernels leveraging xTern, achieving 67% higher throughput than their 2-bit equivalents. Power consumption is only marginally increased by 5.2%, resulting in an energy efficiency improvement by 57.1%. We demonstrate that the proposed xTern extension, integrated into an octa-core compute cluster, incurs a minimal silicon area overhead of 0.9% with no impact on timing. In end-to-end benchmarks, we demonstrate that xTern enables the deployment of TNNs achieving up to 1.6 percentage points higher CIFAR-10 classification accuracy than 2-bit networks at equal inference latency. Our results show that xTern enables RISC-V-based ultra-low-power edge AI platforms to benefit from the efficiency potential of TNNs.
Abstract（参考訳）: 3次ニューラルネットワーク(TNN)は、バイナリニューラルネットワークに比べて精度とエネルギーのトレードオフが優れている。しかし、これまで彼らは、その効率性を実現するために特別なアクセラレーターを必要としており、それが広く普及を妨げている。そこで本研究では,汎用コア上でのTNN推論の高速化を目的としたRISC-V命令セットアーキテクチャ(ISA)の軽量拡張であるxTernを提案する。 ISA拡張を補完するため、我々はxTernを利用して最適化されたカーネル群を開発し、2ビット相当のカーネルよりも67%高いスループットを実現した。電力消費量は5.2%しか増加せず、エネルギー効率は57.1%向上した。提案したxTern拡張がオクタコア計算クラスタに統合され、最小のシリコン領域のオーバーヘッドが0.9%となり、タイミングに影響を与えないことを示した。エンドツーエンドのベンチマークでは、XTernにより、最大1.6パーセントのCIFAR-10分類精度を2ビットネットワークで同等の遅延で達成できることを示す。以上の結果から,XTernはRISC-Vベースの超低消費電力エッジAIプラットフォームを,TNNの効率性の恩恵を受けることができることがわかった。

関連論文リスト

Hardware-Software Co-optimised Fast and Accurate Deep Reconfigurable Spiking Inference Accelerator Architecture Design Methodology [2.968768532937366]
Spiking Neural Networks(SNN)は、機械学習モデルのエネルギー効率を改善するための有望なアプローチとして登場した。我々は,ソフトウェア学習深層ニューラルネットワーク(DNN)を高精度スパイキングモデルに移植するハードウェア・ソフトウェア共同最適化戦略を開発した。
論文参考訳（メタデータ） (2024-10-07T05:04:13Z)
Reconsidering the energy efficiency of spiking neural networks [4.37952937111446]
スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。ハードウェアの観点から,ニューラルネットワーク(ANN)とSNNのエネルギー消費の比較を行った。
論文参考訳（メタデータ） (2024-08-29T07:00:35Z)
FireFly v2: Advancing Hardware Support for High-Performance Spiking Neural Network with a Spatiotemporal FPGA Accelerator [8.0611988136866]
Spiking Neural Networks(SNN)は、Artificial Neural Networks(ANN)の代替として期待されている。特殊なSNNハードウェアは、電力と性能の点で汎用デバイスよりも明確な優位性を提供する。 FPGA SNNアクセラレータであるFireFly v2は、現在のSOTA SNNアルゴリズムにおける非スパイク操作の問題に対処することができる。
論文参考訳（メタデータ） (2023-09-28T04:17:02Z)
Energy-Efficient On-Board Radio Resource Management for Satellite Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文参考訳（メタデータ） (2023-08-22T03:13:57Z)
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文参考訳（メタデータ） (2022-11-13T18:31:45Z)
Boosting Binary Neural Networks via Dynamic Thresholds Learning [21.835748440099586]
我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。 DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
論文参考訳（メタデータ） (2022-11-04T07:18:21Z)
Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing [93.67044879636093]
本稿では,コラボレーティブエッジコンピューティングにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。本研究では,第2エッジサーバ(ES)上のサブタスクの重なり合うゾーンをホストES上で実行し,HALPと命名した新しいタスク協調方式を設計する。実験結果から,GTX 1080TIとJETSON AGX Xavierでは,単一のタスクに対して1.7-2.0x,バッチ毎に1.7-1.8x,バッチ毎に1.7-1.8x,VGG-16では1.7-2.0xのCNN推論を高速化できることがわかった。
論文参考訳（メタデータ） (2022-07-22T18:39:09Z)
FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
論文参考訳（メタデータ） (2022-04-22T21:57:00Z)
BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文参考訳（メタデータ） (2022-02-14T05:16:53Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。