論文の概要: Containing Analog Data Deluge at Edge through Frequency-Domain Compression in Collaborative Compute-in-Memory Networks

• arxiv url: http://arxiv.org/abs/2309.11048v1
• Date: Wed, 20 Sep 2023 03:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 17:24:33.938141
• Title: Containing Analog Data Deluge at Edge through Frequency-Domain Compression in Collaborative Compute-in-Memory Networks
• Title（参考訳）: 協調型コンピュート・イン・メモリ・ネットワークにおける周波数領域圧縮によるエッジでのアナログデータ希釈
• Authors: Nastaran Darabi, and Amit R. Trivedi
• Abstract要約: 本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。 アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Edge computing is a promising solution for handling high-dimensional, multispectral analog data from sensors and IoT devices for applications such as autonomous drones. However, edge devices' limited storage and computing resources make it challenging to perform complex predictive modeling at the edge. Compute-in-memory (CiM) has emerged as a principal paradigm to minimize energy for deep learning-based inference at the edge. Nevertheless, integrating storage and processing complicates memory cells and/or memory peripherals, essentially trading off area efficiency for energy efficiency. This paper proposes a novel solution to improve area efficiency in deep learning inference tasks. The proposed method employs two key strategies. Firstly, a Frequency domain learning approach uses binarized Walsh-Hadamard Transforms, reducing the necessary parameters for DNN (by 87% in MobileNetV2) and enabling compute-in-SRAM, which better utilizes parallelism during inference. Secondly, a memory-immersed collaborative digitization method is described among CiM arrays to reduce the area overheads of conventional ADCs. This facilitates more CiM arrays in limited footprint designs, leading to better parallelism and reduced external memory accesses. Different networking configurations are explored, where Flash, SA, and their hybrid digitization steps can be implemented using the memory-immersed scheme. The results are demonstrated using a 65 nm CMOS test chip, exhibiting significant area and energy savings compared to a 40 nm-node 5-bit SAR ADC and 5-bit Flash ADC. By processing analog data more efficiently, it is possible to selectively retain valuable data from sensors and alleviate the challenges posed by the analog data deluge.
• Abstract（参考訳）: エッジコンピューティングは、自律ドローンのようなアプリケーションのために、センサーやIoTデバイスから高次元のマルチスペクトルアナログデータを処理するための有望なソリューションである。 しかし、エッジデバイスの限られたストレージとコンピューティングリソースは、エッジでの複雑な予測モデルの実行を困難にしている。 compute-in-memory(cim)は、エッジにおけるディープラーニングベースの推論のエネルギーを最小化する主要なパラダイムとして登場した。 それでも、ストレージと処理の統合はメモリセルやメモリ周辺を複雑にし、エネルギー効率の領域効率を本質的に引き離す。 本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。 提案手法は2つの戦略を用いる。 まず、周波数領域学習アプローチでは、二項化されたWalsh-Hadamard変換を使用し、DNNに必要なパラメータ(MobileNetV2では87%削減)を削減し、推論時の並列性をよりよく活用するComputer-in-SRAMを実現する。 次に、従来のADCの領域オーバーヘッドを低減するため、CiMアレイ間でメモリ没入協調ディジタル化法を記述する。 これにより、限られたフットプリント設計におけるより多くのCiM配列が実現され、並列性が向上し、外部メモリアクセスが削減される。 異なるネットワーク構成を探索し、Flash、SA、およびそれらのハイブリッドデジタル化ステップをメモリ没入方式を用いて実装することができる。 その結果,65nm CMOS試験チップを用いて,40nm ノード 5bit SAR ADC および 5bit Flash ADC と比較して,かなりの面積と省エネ性を示した。 アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。

関連論文リスト

• SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception [8.968583287058959]
  スパイキングニューラルネットワーク(SNN)は、ダイナミックビジョンセンサー(DVS)によって生成された非同期時間データを効率的に処理する方法を提供する。 既存のSNNアクセラレータは、多様なニューロンモデル、ビット精度、ネットワークサイズへの適応性の制限に悩まされている。 本稿では,CIM (Citical Compute-in-Memory) SNNアクセラレーターを,拡張性および再構成性を備えたチップ名として提案する。
  論文  参考訳（メタデータ） (2024-11-05T06:59:02Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency Transformation [2.7488316163114823]
  本稿では,アナログ領域の周波数ベーステンソル変換を用いた周波数領域ニューラルネットワークのエネルギー効率向上手法を提案する。 提案手法は,変換行列のトレーニング可能なパラメータを不要にすることで,よりコンパクトなセルを実現する。 16$times$16のクロスバーで8ビット入力処理を行い,Watt当たりの1602テラ演算のエネルギー効率を実現する。
  論文  参考訳（メタデータ） (2023-09-04T19:19:39Z)
• Memory-Immersed Collaborative Digitization for Area-Efficient Compute-in-Memory Deep Learning [2.9812721676061127]
  本研究では,従来のアナログ・デジタル変換器(ADC)の領域オーバーヘッドを最小限に抑えるため,メモリ・イン・メモリ(CiM)アレイ間のコラボレーティブ・デジタル化について論じる。 デジタル化方式では、CiMアレイはその寄生ビット線を利用して、領域効率の良い逐次近似(SA)デジタル化を容易にするインメモリ容量型デジタルアナログ変換器(DAC)を形成する。
  論文  参考訳（メタデータ） (2023-07-07T23:33:22Z)
• DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN Training and Inference [4.718504401468233]
  PIMソリューションは、まだ成熟していない新しいメモリ技術か、パフォーマンス上のオーバーヘッドとスケーラビリティの問題のあるビットシリアル計算に依存している。 本稿では,従来のメモリを用いてビット並列計算を行い,複数のワードラインのアクティベーションを利用する,SRAM内デジタル乗算器を提案する。 次に、この乗算器を利用したアーキテクチャであるDAISMを導入し、SOTAと比較して最大2桁高い面積効率を実現し、競争エネルギー効率を向上する。
  論文  参考訳（メタデータ） (2023-05-12T10:58:21Z)
• Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of Peripherals [11.31429464715989]
  本稿では,ディープラーニングタスクを効率的に高速化する新しいPIMアーキテクチャを提案する。 アナログ集積回路とニューラル近似周辺回路で必要となるA/D変換を最小化する。 異なるベンチマークによる評価では、Neural-PIMはエネルギー効率を5.36x (1.73x)向上し、スループットを3.43x (1.59x)向上する。
  論文  参考訳（メタデータ） (2022-01-30T16:14:49Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。