論文の概要: A Blueprint for Precise and Fault-Tolerant Analog Neural Networks
- arxiv url: http://arxiv.org/abs/2309.10759v1
- Date: Tue, 19 Sep 2023 17:00:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:22:58.203333
- Title: A Blueprint for Precise and Fault-Tolerant Analog Neural Networks
- Title（参考訳）: 高精度・耐故障性アナログニューラルネットワークの青写真化
- Authors: Cansu Demirkiran, Lakshmi Nair, Darius Bunandar, and Ajay Joshi
- Abstract要約: 高精度データ変換器は、ディープニューラルネットワークには費用がかかり実用的ではない。
残基数システム(RNS)を用いてこの問題に対処する。
RNSは複数の低精度操作から高精度操作を構成することができる。
- 参考スコア（独自算出の注目度）: 1.6039298125810306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analog computing has reemerged as a promising avenue for accelerating deep
neural networks (DNNs) due to its potential to overcome the energy efficiency
and scalability challenges posed by traditional digital architectures. However,
achieving high precision and DNN accuracy using such technologies is
challenging, as high-precision data converters are costly and impractical. In
this paper, we address this challenge by using the residue number system (RNS).
RNS allows composing high-precision operations from multiple low-precision
operations, thereby eliminating the information loss caused by the limited
precision of the data converters. Our study demonstrates that analog
accelerators utilizing the RNS-based approach can achieve ${\geq}99\%$ of FP32
accuracy for state-of-the-art DNN inference using data converters with only
$6$-bit precision whereas a conventional analog core requires more than $8$-bit
precision to achieve the same accuracy in the same DNNs. The reduced precision
requirements imply that using RNS can reduce the energy consumption of analog
accelerators by several orders of magnitude while maintaining the same
throughput and precision. Our study extends this approach to DNN training,
where we can efficiently train DNNs using $7$-bit integer arithmetic while
achieving accuracy comparable to FP32 precision. Lastly, we present a
fault-tolerant dataflow using redundant RNS error-correcting codes to protect
the computation against noise and errors inherent within an analog accelerator.
- Abstract（参考訳）: アナログコンピューティングは、従来のデジタルアーキテクチャがもたらすエネルギー効率とスケーラビリティの課題を克服する可能性から、ディープニューラルネットワーク(DNN)を加速するための有望な道として再燃した。
しかし、高精度データ変換器は高価で実用的ではないため、そのような技術を用いて高精度かつDNNの精度を実現することは困難である。
本稿では,残基数システム(RNS)を用いてこの問題に対処する。
RNSは複数の低精度操作から高精度操作を構成することができ、データコンバータの限られた精度による情報損失を解消できる。
従来のアナログコアは8ドル以上の精度で同じDNNの精度を実現するのに対して,RSSベースの手法を用いたアナログアクセラレータは6ドル以上の精度で,最先端のDNN推論のためのFP32の精度を${\geq}99\%で達成できることを示した。
精度の低下は、rnsを使用すると、同じスループットと精度を維持しながらアナログ加速器のエネルギー消費量を数桁削減できることを示している。
本稿では,この手法をDNNトレーニングに拡張し,FP32精度に匹敵する精度を達成しつつ,7ドルビット整数演算を用いてDNNを効率的に訓練する。
最後に,アナログアクセラレータ内に存在するノイズやエラーに対して,冗長なRSS誤り訂正符号を用いたフォールトトレラントデータフローを提案する。
関連論文リスト
- Mirage: An RNS-Based Photonic Accelerator for DNN Training [2.2750171530507695]
フォトニックコンピューティングは、ディープニューラルネットワーク(DNN)における重要な演算である、高効率な行列乗算を実現するための魅力的な道である
本稿では、Residue Number System (RNS) を用いたフォトニックハードウェアにおける精度の課題を克服するフォトニックDNNトレーニングアクセラレータであるMirageを提案する。
RNSはモジュラー演算に基づく数値システムであり、複数の低精度なモジュラー演算によって高精度な演算を行うことができる。
論文 参考訳（メタデータ） (2023-11-29T02:40:12Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Leveraging Residue Number System for Designing High-Precision Analog
Deep Neural Network Accelerators [3.4218508703868595]
我々は、残基数システム(RNS)を用いて、複数の低精度演算から高精度演算を構成する。
RNSは6ドルビットの精度しか持たないデータコンバータを用いて、最先端のDNN推論に対して99%のFP32精度を達成できる。
論文 参考訳（メタデータ） (2023-06-15T20:24:18Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳（メタデータ） (2022-11-22T15:08:05Z) - Automated machine learning for borehole resistivity measurements [0.0]
ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。
非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。
本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
論文 参考訳（メタデータ） (2022-07-20T12:27:22Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - A Little Energy Goes a Long Way: Energy-Efficient, Accurate Conversion
from Convolutional Neural Networks to Spiking Neural Networks [22.60412330785997]
スパイクニューラルネットワーク(SNN)は、空間時空間データ、つまり現実世界の感覚データを処理する固有の機能を提供します。
SNNに関する主要な研究のスレッドは、トレーニング済みの畳み込みニューラルネットワーク(CNN)を同じ構造のSNNに変換することである。
本論文では,比較的短いスパイクトレインを用いて,ほぼゼロの精度損失を達成できる新しいCNN-to-SNN変換法を提案する。
論文 参考訳（メタデータ） (2021-03-01T12:15:29Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。