論文の概要: Dynamic Precision Analog Computing for Neural Networks

• arxiv url: http://arxiv.org/abs/2102.06365v1
• Date: Fri, 12 Feb 2021 06:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 12:59:57.726904
• Title: Dynamic Precision Analog Computing for Neural Networks
• Title（参考訳）: ニューラルネットワークのための動的精度アナログ計算
• Authors: Sahaj Garg, Joe Lou, Anirudh Jain, Mitchell Nahmias
• Abstract要約: 本稿では,演算を繰り返して平均化することにより,様々な精度レベルをサポートするアナログコンピューティングアーキテクチャの拡張を提案する。 動的精度を使用することで、Resnet50などのコンピュータビジョンモデルでは最大89%、BERTなどの自然言語処理モデルでは24%のエネルギー消費が削減されます。
• 参考スコア（独自算出の注目度）: 0.7701333337093469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog electronic and optical computing exhibit tremendous advantages over digital computing for accelerating deep learning when operations are executed at low precision. In this work, we derive a relationship between analog precision, which is limited by noise, and digital bit precision. We propose extending analog computing architectures to support varying levels of precision by repeating operations and averaging the result, decreasing the impact of noise. Such architectures enable programmable tradeoffs between precision and other desirable performance metrics such as energy efficiency or throughput. To utilize dynamic precision, we propose a method for learning the precision of each layer of a pre-trained model without retraining network weights. We evaluate this method on analog architectures subject to a variety of noise sources such as shot noise, thermal noise, and weight noise and find that employing dynamic precision reduces energy consumption by up to 89% for computer vision models such as Resnet50 and by 24% for natural language processing models such as BERT. In one example, we apply dynamic precision to a shot-noise limited homodyne optical neural network and simulate inference at an optical energy consumption of 2.7 aJ/MAC for Resnet50 and 1.6 aJ/MAC for BERT with <2% accuracy degradation.
• Abstract（参考訳）: アナログ電子および光コンピューティングは、低精度で操作を実行する場合のディープラーニングを加速するデジタルコンピューティングよりも大きなアドバンテージを示している。 本研究では,ノイズによって制限されるアナログ精度とディジタルビット精度の関係を導出する。 演算を繰り返し平均化することで、精度の異なるレベルをサポートするアナログコンピューティングアーキテクチャの拡張を提案し、ノイズの影響を低減します。 このようなアーキテクチャは、精度とエネルギー効率やスループットなどの他の望ましいパフォーマンス指標の間のプログラム可能なトレードオフを可能にする。 動的精度を利用するために,ネットワーク重みをトレーニングせずに事前学習モデルの各レイヤの精度を学習する手法を提案する。 本手法は, ショットノイズ, サーマルノイズ, ウェイトノイズなど, さまざまなノイズ源を考慮したアナログアーキテクチャ上で評価し, 動的精度を用いることでResnet50などのコンピュータビジョンモデルでは最大89%, BERTなどの自然言語処理モデルでは24%のエネルギー消費を低減できることを確認した。 1つの例では、ショットノイズ限定ホモダイン光ニューラルネットワークに動的精度を適用し、Resnet50では2.7 aJ/MAC、BERTでは1.6 aJ/MACの光エネルギー消費で<2%の精度で推論をシミュレートする。

関連論文リスト

• Physics-aware Roughness Optimization for Diffractive Optical Neural Networks [15.397285424104469]
  微分光学ニューラルネットワーク(DONN)は、従来のディープニューラルネットワークよりも有望な優位性を示している。 本稿では,数値モデリングと実運用における性能差を低減するために,物理対応の回折型光ニューラルネットワークトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:19:36Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks [2.5744053804694893]
  近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。 バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。 実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
  論文  参考訳（メタデータ） (2022-08-15T15:17:34Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks [0.9176056742068814]
  ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T09:12:29Z)
• Training of mixed-signal optical convolutional neural network with reduced quantization level [1.3381749415517021]
  アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現することができる。 本稿では、アナログ信号の2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を含む混合信号ANNの訓練方法について報告する。 その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T20:46:22Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。