論文の概要: On the Accuracy of Analog Neural Network Inference Accelerators
- arxiv url: http://arxiv.org/abs/2109.01262v1
- Date: Fri, 3 Sep 2021 01:38:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 22:30:21.575227
- Title: On the Accuracy of Analog Neural Network Inference Accelerators
- Title（参考訳）: アナログニューラルネットワーク推論加速器の精度について
- Authors: T. Patrick Xiao, Ben Feinberg, Christopher H. Bennett, Venkatraman
Prabhakar, Prashant Saxena, Vineet Agrawal, Sapan Agarwal, Matthew J.
Marinella
- Abstract要約: 近年,ニューラルネットワーク推論の消費電力削減手法として,特別なアクセラレータが注目されている。
この研究は、特にニューラルネットワークパラメータをアナログメモリセルにマッピングする際のアーキテクチャ設計の決定が、推論精度にどのように影響するかを示す。
- 参考スコア（独自算出の注目度）: 0.9440010225411358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Specialized accelerators have recently garnered attention as a method to
reduce the power consumption of neural network inference. A promising category
of accelerators utilizes nonvolatile memory arrays to both store weights and
perform $\textit{in situ}$ analog computation inside the array. While prior
work has explored the design space of analog accelerators to optimize
performance and energy efficiency, there is seldom a rigorous evaluation of the
accuracy of these accelerators. This work shows how architectural design
decisions, particularly in mapping neural network parameters to analog memory
cells, influence inference accuracy. When evaluated using ResNet50 on ImageNet,
the resilience of the system to analog non-idealities - cell programming
errors, analog-to-digital converter resolution, and array parasitic resistances
- all improve when analog quantities in the hardware are made proportional to
the weights in the network. Moreover, contrary to the assumptions of prior
work, nearly equivalent resilience to cell imprecision can be achieved by fully
storing weights as analog quantities, rather than spreading weight bits across
multiple devices, often referred to as bit slicing. By exploiting
proportionality, analog system designers have the freedom to match the
precision of the hardware to the needs of the algorithm, rather than attempting
to guarantee the same level of precision in the intermediate results as an
equivalent digital accelerator. This ultimately results in an analog
accelerator that is more accurate, more robust to analog errors, and more
energy-efficient.
- Abstract（参考訳）: 専用アクセラレータは最近、ニューラルネットワーク推論の消費電力を減らす方法として注目を集めている。
アクセルの有望なカテゴリは、不揮発性メモリアレイを使用して重みを格納し、配列内で$\textit{in situ}$アナログ計算を実行する。
アナログ加速器の設計空間を探索し、性能とエネルギー効率を最適化する一方で、これらの加速器の精度を厳密に評価することはめったにない。
この研究は、特にニューラルネットワークパラメータをアナログメモリセルにマッピングする際のアーキテクチャ設計の決定が、推論精度にどのように影響するかを示す。
imagenet上でresnet50を用いて評価すると、セルプログラミングエラー、アナログ-デジタル変換器解像度、配列寄生抵抗などのアナログ非理想性に対するシステムのレジリエンスが向上し、ハードウェア内のアナログ量をネットワークの重みに比例させる。
さらに、先行研究の前提とは対照的に、重みを複数のデバイスにまたがる重みをビットスライシングと呼ぶのではなく、アナログ量として完全に保存することで、細胞インプレシションに対するほぼ同等の弾力性を達成することができる。
比例性を利用することで、アナログシステムの設計者は、同等のデジタルアクセラレータとして中間結果において同じレベルの精度を保証するのではなく、ハードウェアの精度をアルゴリズムのニーズに合わせる自由を得ることができる。
この結果、アナログ加速器はより正確で、アナログ誤差に対してより堅牢で、エネルギー効率が良い。
関連論文リスト
- Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Quantization of Deep Neural Networks to facilitate self-correction of
weights on Phase Change Memory-based analog hardware [0.0]
乗法重みの集合を近似するアルゴリズムを開発する。
これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。
その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:47:25Z) - On the Non-Associativity of Analog Computations [0.0]
本研究では、アナログ演算の入力オペランドの順序付けも出力結果に影響を及ぼすことを観察する。
我々は、そのような順序付け効果をキャプチャする実アナログプロセッサのモデルを作成することで、簡単なテストを行う。
その結果, 順序効果の存在と高い影響が示され, 順序効果を無視すると精度が低下することがわかった。
論文 参考訳（メタデータ） (2023-09-25T17:04:09Z) - A Blueprint for Precise and Fault-Tolerant Analog Neural Networks [1.6039298125810306]
高精度データ変換器は、ディープニューラルネットワークには費用がかかり実用的ではない。
残基数システム(RNS)を用いてこの問題に対処する。
RNSは複数の低精度操作から高精度操作を構成することができる。
論文 参考訳（メタデータ） (2023-09-19T17:00:34Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - ZippyPoint: Fast Interest Point Detection, Description, and Matching
through Mixed Precision Discretization [71.91942002659795]
我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。
バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。
これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
論文 参考訳（メタデータ） (2022-03-07T18:59:03Z) - AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On
Analog Compute-in-Memory Accelerator [50.31646817567764]
本稿では,キーワードスポッティング (KWS) と視覚覚醒語 (VWW) を常用するTinyMLモデルについて述べる。
アナログ非イデオロギーに面した精度を維持するため、包括的学習手法を詳述する。
また、プログラム可能な最小領域位相変化メモリ(PCM)アナログCiMアクセラレータであるAON-CiMについて述べる。
論文 参考訳（メタデータ） (2021-11-10T10:24:46Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z) - Inference with Artificial Neural Networks on Analog Neuromorphic
Hardware [0.0]
BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。
システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
論文 参考訳（メタデータ） (2020-06-23T17:25:06Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-12T07:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。