論文の概要: In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision

• arxiv url: http://arxiv.org/abs/2212.10881v1
• Date: Wed, 21 Dec 2022 09:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 15:15:18.616081
• Title: In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision
• Title（参考訳）: インセンサーとニューロモルフィックコンピューティングは、エネルギー効率の良いコンピュータビジョンに必要なすべてだ
• Authors: Gourav Datta, Zeyu Liu, Md Abdullah-Al Kaiser, Souvik Kundu, Joe Mathai, Zihan Yin, Ajey P. Jacob, Akhilesh R. Jaiswal, Peter A. Beerel
• Abstract要約: ニューロモルフィックスパイキングニューラルネットワーク(SNN)のためのインセンサ・ハードウェア・ソフトウェア協調設計フレームワークを提案する。 提案手法は,従来のCV処理と比較して,12-96倍の検知と処理の帯域幅と総エネルギーを2.32倍に削減する。
• 参考スコア（独自算出の注目度）: 6.323908398583083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the high activation sparsity and use of accumulates (AC) instead of expensive multiply-and-accumulates (MAC), neuromorphic spiking neural networks (SNNs) have emerged as a promising low-power alternative to traditional DNNs for several computer vision (CV) applications. However, most existing SNNs require multiple time steps for acceptable inference accuracy, hindering real-time deployment and increasing spiking activity and, consequently, energy consumption. Recent works proposed direct encoding that directly feeds the analog pixel values in the first layer of the SNN in order to significantly reduce the number of time steps. Although the overhead for the first layer MACs with direct encoding is negligible for deep SNNs and the CV processing is efficient using SNNs, the data transfer between the image sensors and the downstream processing costs significant bandwidth and may dominate the total energy. To mitigate this concern, we propose an in-sensor computing hardware-software co-design framework for SNNs targeting image recognition tasks. Our approach reduces the bandwidth between sensing and processing by 12-96x and the resulting total energy by 2.32x compared to traditional CV processing, with a 3.8% reduction in accuracy on ImageNet.
• Abstract（参考訳）: 高価な乗算累積(MAC)の代わりに蓄積量(AC)を高い活性化間隔で利用するため、ニューロモルフィックスパイキングニューラルネットワーク(SNN)は、いくつかのコンピュータビジョン(CV)アプリケーションのために従来のDNNに代わる有望な低消費電力の代替品として登場した。 しかし、既存のほとんどのSNNは、推論精度を許容する複数の時間ステップを必要とし、リアルタイムデプロイメントを妨げ、スパイク活性を増大させ、結果としてエネルギー消費を増大させる。 最近の研究は、時間ステップ数を大幅に削減するために、snnの第1層でアナログピクセル値を直接供給する直接符号化を提案している。 直接符号化された第1層MACのオーバーヘッドは深部SNNでは無視でき、CV処理はSNNでは効率がよいが、画像センサと下流処理の間のデータ転送は、かなりの帯域幅を要し、総エネルギーを支配する可能性がある。 そこで本研究では,画像認識タスクを対象としたSNNのための,センサ内ハードウェア・ソフトウェア協調設計フレームワークを提案する。 提案手法は,従来のCV処理に比べて12-96倍の帯域幅と総エネルギーを2.32倍に削減し,ImageNetの精度は3.8%削減した。

関連論文リスト

• CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks [13.520972975766313]
  本研究では、重みの非一様量子化を利用して、エネルギー効率の低い深部畳み込みニューラルネットワーク推論を可能にする枠組みを提案する。 また、重みのビット幅を圧縮する新しいデータ表現形式Encoded Low-Precision Binary Signed Digitを提案する。
  論文  参考訳（メタデータ） (2022-07-31T01:34:56Z)
• Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
  非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。 ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。 本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。 そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
  論文  参考訳（メタデータ） (2022-05-16T06:53:14Z)
• Optimizing the Consumption of Spiking Neural Networks with Activity Regularization [15.317534913990633]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。 本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
  論文  参考訳（メタデータ） (2022-04-04T13:19:47Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications [2.1800759000607024]
  本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。 DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
  論文  参考訳（メタデータ） (2021-05-25T11:44:12Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。