論文の概要: PACiM: A Sparsity-Centric Hybrid Compute-in-Memory Architecture via Probabilistic Approximation

• arxiv url: http://arxiv.org/abs/2408.16246v1
• Date: Thu, 29 Aug 2024 03:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 15:05:40.505505
• Title: PACiM: A Sparsity-Centric Hybrid Compute-in-Memory Architecture via Probabilistic Approximation
• Title（参考訳）: PACiM:確率近似による分散中心型ハイブリッド・コンピュート・イン・メモリアーキテクチャ
• Authors: Wenlun Zhang, Shimpei Ando, Yung-Chin Chen, Satomi Miyagi, Shinya Takamaeda-Yamazaki, Kentaro Yoshioka,
• Abstract要約: 本稿では,従来の手法に比べて近似誤差を4倍に削減する新しい確率近似計算法を提案する。 PACは、複雑なMACベクトル計算をスカラー計算に単純化することにより、計算インメモリ(CiM)システムにおける効率の良いスペーサ性ベースの計算を可能にする。 PACiMは、スペーサをフル活用してビットシリアルサイクルを81%削減し、65nmCMOSで14.63TOPS/Wのピーク8b/8b効率を実現する。
• 参考スコア（独自算出の注目度）: 1.2848824355101671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Approximate computing emerges as a promising approach to enhance the efficiency of compute-in-memory (CiM) systems in deep neural network processing. However, traditional approximate techniques often significantly trade off accuracy for power efficiency, and fail to reduce data transfer between main memory and CiM banks, which dominates power consumption. This paper introduces a novel probabilistic approximate computation (PAC) method that leverages statistical techniques to approximate multiply-and-accumulation (MAC) operations, reducing approximation error by 4X compared to existing approaches. PAC enables efficient sparsity-based computation in CiM systems by simplifying complex MAC vector computations into scalar calculations. Moreover, PAC enables sparsity encoding and eliminates the LSB activations transmission, significantly reducing data reads and writes. This sets PAC apart from traditional approximate computing techniques, minimizing not only computation power but also memory accesses by 50%, thereby boosting system-level efficiency. We developed PACiM, a sparsity-centric architecture that fully exploits sparsity to reduce bit-serial cycles by 81% and achieves a peak 8b/8b efficiency of 14.63 TOPS/W in 65 nm CMOS while maintaining high accuracy of 93.85/72.36/66.02% on CIFAR-10/CIFAR-100/ImageNet benchmarks using a ResNet-18 model, demonstrating the effectiveness of our PAC methodology.
• Abstract（参考訳）: 近似コンピューティングは、ディープニューラルネットワーク処理における計算メモリ(CiM)システムの効率を高めるための有望なアプローチとして出現する。 しかし、従来の近似技術は電力効率の精度を著しく引き離し、メインメモリとCiMバンク間のデータ転送を減らすことができず、電力消費を支配している。 本稿では,確率的近似計算(PAC)手法を提案する。この手法は統計手法を利用して乗算および累積(MAC)演算を近似し,従来の手法に比べて近似誤差を4倍に削減する。 PACは、複雑なMACベクトル計算をスカラー計算に単純化することにより、CiMシステムにおける効率的なスペーサ性ベースの計算を可能にする。 さらに、PACは、LSBアクティベーションの送信をスポーシティエンコーディングし、排除し、データ読み込みと書き込みを大幅に削減する。 これによりPACは従来の近似計算技術とは切り離され、計算能力だけでなくメモリアクセスも50%削減され、システムレベルの効率が向上する。 ResNet-18 モデルを用いた CIFAR-10/CIFAR-100/ImageNet ベンチマークで高精度の 93.85/72.36/66.02% を維持しつつ,ビットシリアルサイクルを 81% 削減し,ピーク時 8b/8b の 14.63 TOPS/W を65nm CMOS で達成し,ピーク時 8b/8b 効率を実現した。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores [3.6385567224218556]
  大規模言語モデル(LLM)は広く応用されているが、効率的な推論では課題に直面している。 本稿では、並列計算を容易にし、対称量子化をサポートする新しいバイポーラ-INTデータフォーマットを提案する。 ビットレベルで分解・復元する任意の精度行列乗算方式を実装し,フレキシブルな精度を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:17:58Z)
• ISO: Overlap of Computation and Communication within Seqenence For LLM Inference [8.616769297336708]
  本稿では,シーケンスレベルで動作する計算通信重複に対する新しい戦略を提案する。 30b/70bモデルを用いて実験を行った結果,効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-09-04T05:22:17Z)
• A Precision-Optimized Fixed-Point Near-Memory Digital Processing Unit for Analog In-Memory Computing [10.992736723518036]
  固定点演算に基づくNMPU(Near-Memory Digital Processing Unit)を提案する。 従来の手法よりも競争精度と高い計算スループットを実現している。 我々は,AIMCチップのデータを用いてNMPUの有効性を検証するとともに,提案したNMPUを用いたシミュレーションAIMCシステムが,既存のFP16ベースの実装よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-12T10:30:45Z)
• CLSA-CIM: A Cross-Layer Scheduling Approach for Computing-in-Memory Architectures [0.1747623282473278]
  CIMアーキテクチャの階層間スケジューリングアルゴリズムであるCLSA-CIMを提案する。 CLSA-CIMと既存の重み付け戦略を統合し,SOTA(State-of-the-art)スケジューリングアルゴリズムとの比較を行った。
  論文  参考訳（メタデータ） (2024-01-15T13:35:21Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
  分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。 本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。 実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-07-21T07:02:07Z)
• Q-EEGNet: an Energy-Efficient 8-bit Quantized Parallel EEGNet Implementation for Edge Motor-Imagery Brain--Machine Interfaces [16.381467082472515]
  運動画像脳-機械インタフェース(MI-BMI)は、人間の脳と機械間の直接的かつアクセス可能なコミュニケーションをプロミットする。 脳波信号を分類するためのディープラーニングモデルが登場した。 これらのモデルは、メモリと計算要求のため、エッジデバイスの限界を超えることが多い。
  論文  参考訳（メタデータ） (2020-04-24T12:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。