論文の概要: Dynamic Precision Analog Computing for Neural Networks
- arxiv url: http://arxiv.org/abs/2102.06365v1
- Date: Fri, 12 Feb 2021 06:56:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 12:59:57.726904
- Title: Dynamic Precision Analog Computing for Neural Networks
- Title（参考訳）: ニューラルネットワークのための動的精度アナログ計算
- Authors: Sahaj Garg, Joe Lou, Anirudh Jain, Mitchell Nahmias
- Abstract要約: 本稿では,演算を繰り返して平均化することにより,様々な精度レベルをサポートするアナログコンピューティングアーキテクチャの拡張を提案する。
動的精度を使用することで、Resnet50などのコンピュータビジョンモデルでは最大89%、BERTなどの自然言語処理モデルでは24%のエネルギー消費が削減されます。
- 参考スコア（独自算出の注目度）: 0.7701333337093469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analog electronic and optical computing exhibit tremendous advantages over
digital computing for accelerating deep learning when operations are executed
at low precision. In this work, we derive a relationship between analog
precision, which is limited by noise, and digital bit precision. We propose
extending analog computing architectures to support varying levels of precision
by repeating operations and averaging the result, decreasing the impact of
noise. Such architectures enable programmable tradeoffs between precision and
other desirable performance metrics such as energy efficiency or throughput. To
utilize dynamic precision, we propose a method for learning the precision of
each layer of a pre-trained model without retraining network weights. We
evaluate this method on analog architectures subject to a variety of noise
sources such as shot noise, thermal noise, and weight noise and find that
employing dynamic precision reduces energy consumption by up to 89% for
computer vision models such as Resnet50 and by 24% for natural language
processing models such as BERT. In one example, we apply dynamic precision to a
shot-noise limited homodyne optical neural network and simulate inference at an
optical energy consumption of 2.7 aJ/MAC for Resnet50 and 1.6 aJ/MAC for BERT
with <2% accuracy degradation.
- Abstract（参考訳）: アナログ電子および光コンピューティングは、低精度で操作を実行する場合のディープラーニングを加速するデジタルコンピューティングよりも大きなアドバンテージを示している。
本研究では,ノイズによって制限されるアナログ精度とディジタルビット精度の関係を導出する。
演算を繰り返し平均化することで、精度の異なるレベルをサポートするアナログコンピューティングアーキテクチャの拡張を提案し、ノイズの影響を低減します。
このようなアーキテクチャは、精度とエネルギー効率やスループットなどの他の望ましいパフォーマンス指標の間のプログラム可能なトレードオフを可能にする。
動的精度を利用するために,ネットワーク重みをトレーニングせずに事前学習モデルの各レイヤの精度を学習する手法を提案する。
本手法は, ショットノイズ, サーマルノイズ, ウェイトノイズなど, さまざまなノイズ源を考慮したアナログアーキテクチャ上で評価し, 動的精度を用いることでResnet50などのコンピュータビジョンモデルでは最大89%, BERTなどの自然言語処理モデルでは24%のエネルギー消費を低減できることを確認した。
1つの例では、ショットノイズ限定ホモダイン光ニューラルネットワークに動的精度を適用し、Resnet50では2.7 aJ/MAC、BERTでは1.6 aJ/MACの光エネルギー消費で<2%の精度で推論をシミュレートする。
関連論文リスト
- Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators [4.416800723562206]
我々は、アナログニューラルネットワークの精度に基づいて、プロセス誘起および老化に関連するアナログコンピューティングコンポーネントのバリエーションをモデル化する。
事前学習モデルの選択した層間に挿入された遮音ブロックを導入する。
雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。
論文 参考訳（メタデータ） (2024-09-27T08:45:55Z) - On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise [0.0]
本稿では,オンチップトレーニングと推論のためのメモリメモリハードウェアアクセラレータを提案する。
30メムリスタと4つのニューロンからなるハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
論文 参考訳（メタデータ） (2024-08-26T23:10:01Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。
本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。
我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
論文 参考訳（メタデータ） (2022-12-20T17:09:08Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳（メタデータ） (2022-05-18T17:49:49Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Mixed Precision of Quantization of Transformer Language Models for
Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。
現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。
最適局所精度設定は2つの手法を用いて自動的に学習される。
Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文 参考訳（メタデータ） (2021-11-29T09:57:00Z) - Training of mixed-signal optical convolutional neural network with
reduced quantization level [1.3381749415517021]
アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現することができる。
本稿では、アナログ信号の2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を含む混合信号ANNの訓練方法について報告する。
その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
論文 参考訳（メタデータ） (2020-08-20T20:46:22Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳（メタデータ） (2020-07-07T06:51:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。