論文の概要: Computing-In-Memory Dataflow for Minimal Buffer Traffic
- arxiv url: http://arxiv.org/abs/2508.14375v1
- Date: Wed, 20 Aug 2025 03:05:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-21 16:52:41.320832
- Title: Computing-In-Memory Dataflow for Minimal Buffer Traffic
- Title(参考訳): バッファトラフィック最小化のためのメモリ内データフローの計算
- Authors: Choongseok Song, Doo Seok Jeong,
- Abstract要約: 本稿では,データ再利用の最大化とメモリ利用の向上によりバッファトラフィックを大幅に削減する新しいCIMデータフローを提案する。
MobileNetとEfficientNetモデルに適用すると、データフローはバッファトラフィックを77.4~87.0%削減し、それぞれ10.1~17.9%と15.6~27.8%のレイテンシを削減します。
- 参考スコア(独自算出の注目度): 1.9234504183934982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computing-In-Memory (CIM) offers a potential solution to the memory wall issue and can achieve high energy efficiency by minimizing data movement, making it a promising architecture for edge AI devices. Lightweight models like MobileNet and EfficientNet, which utilize depthwise convolution for feature extraction, have been developed for these devices. However, CIM macros often face challenges in accelerating depthwise convolution, including underutilization of CIM memory and heavy buffer traffic. The latter, in particular, has been overlooked despite its significant impact on latency and energy consumption. To address this, we introduce a novel CIM dataflow that significantly reduces buffer traffic by maximizing data reuse and improving memory utilization during depthwise convolution. The proposed dataflow is grounded in solid theoretical principles, fully demonstrated in this paper. When applied to MobileNet and EfficientNet models, our dataflow reduces buffer traffic by 77.4-87.0%, leading to a total reduction in data traffic energy and latency by 10.1-17.9% and 15.6-27.8%, respectively, compared to the baseline (conventional weight-stationary dataflow).
- Abstract(参考訳): コンピューティング・イン・メモリ(CIM)はメモリウォール問題に対する潜在的な解決策を提供し、データ移動を最小化することで高エネルギー効率を達成することができるため、エッジAIデバイスのアーキテクチャとして有望である。
MobileNetやEfficientNetのような、機能抽出に奥行きの畳み込みを利用する軽量モデルが、これらのデバイス向けに開発されている。
しかし、CIMマクロは、CIMメモリの未使用化や大容量バッファトラフィックなど、奥行きの畳み込みを加速する問題に直面している。
特に後者は、レイテンシとエネルギー消費に大きな影響があるにもかかわらず、見過ごされている。
そこで本研究では,データ再利用の最大化と深部畳み込み時のメモリ利用率の向上によりバッファトラフィックを大幅に削減する新しいCIMデータフローを提案する。
提案したデータフローは、本論文で完全に実証された、固い理論原理に基づいている。
MobileNetとEfficientNetモデルに適用した場合、データフローはバッファトラフィックを77.4~87.0%削減し、データトラフィックエネルギーとレイテンシをそれぞれ10.1~17.9%、および15.6~27.8%削減します。
関連論文リスト
- DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。
DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。
例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
論文 参考訳(メタデータ) (2024-10-09T05:16:44Z) - TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Dataflow and Analytical Modelling [0.0]
畳み込みニューラルネットワーク(CNN)はフォン・ノイマンのボトルネックに影響を受けやすい。
このボトルネックは、処理コアとメモリ間でデータを移動する際のエネルギーコストに関連している。
本稿では,三角入力運動に基づく新しいSAデータフローであるTrIMを提案する。
論文 参考訳(メタデータ) (2024-08-02T13:15:17Z) - Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T17:56:39Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z) - ATTACC the Quadratic Bottleneck of Attention Layers [3.2741800634280245]
本稿では、ディープニューラルネットワーク(DNN)アクセラレーターのための新しいアテンション調整データフローであるFLATを紹介する。
高帯域幅で低容量のオンチップバッファを効率的に利用することで、効果的なメモリ帯域幅を増大させる。
評価では,ATTACCは最先端エッジやクラウドアクセラレータと比較して1.94倍,1.76倍,49%,42%のエネルギー削減を達成した。
論文 参考訳(メタデータ) (2021-07-13T22:23:40Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。