論文の概要: Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators

• arxiv url: http://arxiv.org/abs/2306.09481v1
• Date: Thu, 15 Jun 2023 20:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:58:19.646381
• Title: Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators
• Title（参考訳）: 高精度アナログ深層ニューラルネットワーク加速器の設計における剰余数システムの利用
• Authors: Cansu Demirkiran, Rashmi Agrawal, Vijay Janapa Reddi, Darius Bunandar, and Ajay Joshi
• Abstract要約: 我々は、残基数システム(RNS)を用いて、複数の低精度演算から高精度演算を構成する。 RNSは6ドルビットの精度しか持たないデータコンバータを用いて、最先端のDNN推論に対して99%のFP32精度を達成できる。
• 参考スコア（独自算出の注目度）: 3.4218508703868595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving high accuracy, while maintaining good energy efficiency, in analog DNN accelerators is challenging as high-precision data converters are expensive. In this paper, we overcome this challenge by using the residue number system (RNS) to compose high-precision operations from multiple low-precision operations. This enables us to eliminate the information loss caused by the limited precision of the ADCs. Our study shows that RNS can achieve 99% FP32 accuracy for state-of-the-art DNN inference using data converters with only $6$-bit precision. We propose using redundant RNS to achieve a fault-tolerant analog accelerator. In addition, we show that RNS can reduce the energy consumption of the data converters within an analog accelerator by several orders of magnitude compared to a regular fixed-point approach.
• Abstract（参考訳）: アナログDNN加速器では、高精度なデータ変換器が高価であるため、高いエネルギー効率を維持しながら高い精度を達成することは困難である。 本稿では、残差数システム(RNS)を用いて複数の高精度演算から高精度演算を構成することで、この問題を克服する。 これにより、ADCの限られた精度による情報損失を解消できる。 本研究は,データコンバータを用いた最先端DNN推論において,RSNが99%のFP32精度を達成できることを示す。 フォールトトレラントなアナログアクセラレータを実現するために冗長RSSを提案する。 さらに、RSSは、通常の固定点法と比較して、アナログ加速器内のデータコンバータのエネルギー消費量を数桁削減できることを示す。

関連論文リスト

• Shavette: Low Power Neural Network Acceleration via Algorithm-level Error Detection and Undervolting [0.0]
  本稿では,Deep Neural Network(DNN)アクセラレータの,単なるソフトウェア修正による低電圧動作を実現するための簡単なアプローチを紹介する。 18%から25%の省エネ効果を示したが,精度の低下やスループットの低下は認められなかった。
  論文  参考訳（メタデータ） (2024-10-17T10:29:15Z)
• A Pipelined Memristive Neural Network Analog-to-Digital Converter [0.24578723416255754]
  本稿では,4ビットコンバータのパイプラインに基づくスケーラブルでモジュール化されたニューラルネットワークADCアーキテクチャを提案する。 8ビットパイプライン ADC は 0.18 LSB INL, 0.20 LSB DNL, 7.6 ENOB, 0.97 fJ/conv FOM を達成する。
  論文  参考訳（メタデータ） (2024-06-04T10:51:12Z)
• Towards Cheaper Inference in Deep Networks with Lower Bit-Width Accumulators [25.100092698906437]
  現在のハードウェアは依然として高精度なコア操作に依存している。 これは、これまでのところ、低精度のアキュムレータの使用が性能を著しく低下させたためである。 本稿では,12ドル(約1万2000円)の安価なアキュムレータを初めて活用するために,高品質DNNの訓練と微調整を行うための簡単な方法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T11:46:01Z)
• Mirage: An RNS-Based Photonic Accelerator for DNN Training [2.2750171530507695]
  フォトニックコンピューティングは、ディープニューラルネットワーク(DNN)における重要な演算である、高効率な行列乗算を実現するための魅力的な道である 本稿では、Residue Number System (RNS) を用いたフォトニックハードウェアにおける精度の課題を克服するフォトニックDNNトレーニングアクセラレータであるMirageを提案する。 RNSはモジュラー演算に基づく数値システムであり、複数の低精度なモジュラー演算によって高精度な演算を行うことができる。
  論文  参考訳（メタデータ） (2023-11-29T02:40:12Z)
• A Blueprint for Precise and Fault-Tolerant Analog Neural Networks [1.6039298125810306]
  高精度データ変換器は、ディープニューラルネットワークには費用がかかり実用的ではない。 残基数システム(RNS)を用いてこの問題に対処する。 RNSは複数の低精度操作から高精度操作を構成することができる。
  論文  参考訳（メタデータ） (2023-09-19T17:00:34Z)
• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [52.51014498593644]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。 我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
  CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。 実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
  論文  参考訳（メタデータ） (2020-10-28T15:00:09Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing [71.86955275376604]
  本稿では,階層型エッジコンピューティング(HEC)システムに対する適応型異常検出手法を提案する。 本研究では,入力データから抽出した文脈情報に基づいてモデルを選択する適応的手法を設計し,異常検出を行う。 提案手法を実際のIoTデータセットを用いて評価し,検出タスクをクラウドにオフロードするのとほぼ同じ精度を維持しながら,検出遅延を84%削減できることを実証した。
  論文  参考訳（メタデータ） (2020-01-10T05:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。