論文の概要: DeepCAM: A Fully CAM-based Inference Accelerator with Variable Hash Lengths for Energy-efficient Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2302.04712v1
• Date: Thu, 9 Feb 2023 15:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 15:26:03.218026
• Title: DeepCAM: A Fully CAM-based Inference Accelerator with Variable Hash Lengths for Energy-efficient Deep Neural Networks
• Title（参考訳）: DeepCAM:エネルギー効率のよいディープニューラルネットワークのための可変ハッシュ長を持つ完全CAMベースの推論加速器
• Authors: Duy-Thanh Nguyen, Abhiroop Bhattacharjee, Abhishek Moitra, Priyadarshini Panda
• Abstract要約: 本稿では、畳み込みニューラルネットワークの計算時間ボトルネックを軽減するために、2つの重要なイノベーションに基づいて構築された推論アクセラレータであるDeepCAMを提案する。 最初の革新はユークリッド空間の計算上に構築された近似ドット積で、加算と乗算を単純なビット演算に置き換えることができる。 第2のイノベーションは、ビットワイズ演算を実行し、より少ない計算時間でCNNを高速化する動的サイズアドレスメモリベース(CAM)アクセラレータである。
• 参考スコア（独自算出の注目度）: 3.5878671347641276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With ever increasing depth and width in deep neural networks to achieve state-of-the-art performance, deep learning computation has significantly grown, and dot-products remain dominant in overall computation time. Most prior works are built on conventional dot-product where weighted input summation is used to represent the neuron operation. However, another implementation of dot-product based on the notion of angles and magnitudes in the Euclidean space has attracted limited attention. This paper proposes DeepCAM, an inference accelerator built on two critical innovations to alleviate the computation time bottleneck of convolutional neural networks. The first innovation is an approximate dot-product built on computations in the Euclidean space that can replace addition and multiplication with simple bit-wise operations. The second innovation is a dynamic size content addressable memory-based (CAM-based) accelerator to perform bit-wise operations and accelerate the CNNs with a lower computation time. Our experiments on benchmark image recognition datasets demonstrate that DeepCAM is up to 523x and 3498x faster than Eyeriss and traditional CPUs like Intel Skylake, respectively. Furthermore, the energy consumed by our DeepCAM approach is 2.16x to 109x less compared to Eyeriss.
• Abstract（参考訳）: 最先端のパフォーマンスを達成するためにディープニューラルネットワークの深さと幅が増大するにつれて、ディープラーニングの計算能力は大幅に成長し、全体的な計算時間においてドット製品が支配的になっている。 ほとんどの先行研究は、重み付き入力和をニューロンの操作を表すために用いる従来のドット積に基づいている。 しかし、ユークリッド空間における角度と大きさの概念に基づくドット積の別の実装は、限定的な注目を集めている。 本稿では,畳み込みニューラルネットワークの計算時間ボトルネックを軽減するために,2つの重要なイノベーションに基づく推論アクセラレータdeepcamを提案する。 最初の発明はユークリッド空間の計算に基づく近似ドット積であり、加算と乗法を単純なビット演算に置き換えることができる。 第2のイノベーションは、ビットワイズ演算を実行し、より少ない計算時間でCNNを高速化する動的サイズコンテンツアドレスメモリベース(CAMベース)アクセラレータである。 画像認識データセットのベンチマーク実験により、DeepCAMはEyerisやIntel Skylakeのような従来のCPUよりも最大523倍、3498倍高速であることが示された。 さらに、私たちのDeepCAMアプローチで消費されるエネルギーは、アイリスに比べて2.16倍から109倍少ない。

関連論文リスト

• Quality Scalable Quantization Methodology for Deep Learning on Edge [0.20718016474717196]
  ディープラーニングアーキテクチャは重い計算を使い、計算エネルギーの大部分は畳み込みニューラルネットワークの畳み込み演算によって取り込まれる。 提案する研究は、ユビキタスコンピューティングデバイス上でエッジコンピューティングで機械学習技術を使用する場合、CNNのエネルギー消費とサイズを削減することである。 LeNetとConvNetsで実施された実験では、ゼロの6%まで増加し、メモリ節約量は82.4919%まで増加し、最先端の精度を維持した。
  論文  参考訳（メタデータ） (2024-07-15T22:00:29Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Neural Nets with a Newton Conjugate Gradient Method on Multiple GPUs [0.0]
  ディープニューラルネットワークのトレーニングは多くの計算センターで計算リソースの共有を消費する。 本稿では,ベクトルのみに対するヘシアンの効果を必要とする新しい二階最適化手法を提案する。 提案手法を5つの代表的ニューラルネットワーク問題に対して2つの最先端技術と比較した。
  論文  参考訳（メタデータ） (2022-08-03T12:38:23Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• A Spiking Neural Network for Image Segmentation [3.4998703934432682]
  我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。 レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。 Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
  論文  参考訳（メタデータ） (2021-06-16T16:23:18Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions [6.574517227976925]
  Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。 我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
  論文  参考訳（メタデータ） (2020-02-10T05:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。