論文の概要: COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators

• arxiv url: http://arxiv.org/abs/2501.06780v1
• Date: Sun, 12 Jan 2025 11:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:20:25.009049
• Title: COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators
• Title（参考訳）: CompASS: リソース制約のクロスバーアレイベースのインメモリディープラーニングアクセラレータのためのコンパイラフレームワーク
• Authors: Jihoon Park, Jeongin Choe, Dohyun Kim, Jae-Joon Kim,
• Abstract要約: 本稿では、資源制約付きクロスバーベース処理インメモリ(PIM)ディープニューラルネットワーク(DNN)アクセラレーターのためのコンパイラフレームワークを提案する。 本稿では,各パーティションをチップ上で高速化するために,各レイヤを分割する最適なパーティショニングを決定するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.172271429579593
• License:
• Abstract: Recently, crossbar array based in-memory accelerators have been gaining interest due to their high throughput and energy efficiency. While software and compiler support for the in-memory accelerators has also been introduced, they are currently limited to the case where all weights are assumed to be on-chip. This limitation becomes apparent with the significantly increasing network sizes compared to the in-memory footprint. Weight replacement schemes are essential to address this issue. We propose COMPASS, a compiler framework for resource-constrained crossbar-based processing-in-memory (PIM) deep neural network (DNN) accelerators. COMPASS is specially targeted for networks that exceed the capacity of PIM crossbar arrays, necessitating access to external memories. We propose an algorithm to determine the optimal partitioning that divides the layers so that each partition can be accelerated on chip. Our scheme takes into account the data dependence between layers, core utilization, and the number of write instructions to minimize latency, memory accesses, and improve energy efficiency. Simulation results demonstrate that COMPASS can accommodate much more networks using a minimal memory footprint, while improving throughput by 1.78X and providing 1.28X savings in energy-delay product (EDP) over baseline partitioning methods.
• Abstract（参考訳）: 近年,クロスバーアレイを用いたインメモリアクセラレータが注目されている。 インメモリアクセラレータに対するソフトウェアとコンパイラのサポートも導入されているが、現在はすべての重みがオンチップであると仮定される場合に限られている。 この制限は、メモリ内フットプリントに比べてネットワークサイズが大幅に増加することで明らかになる。 この問題に対処するためには、重量代替スキームが不可欠です。 資源制約のあるクロスバーベース処理インメモリ(PIM)ディープニューラルネットワーク(DNN)アクセラレーターのためのコンパイラフレームワークであるCompASSを提案する。 CompASSは特に、外部メモリへのアクセスを必要とするPIMクロスバーアレイの容量を超えるネットワークをターゲットにしている。 本稿では,各パーティションをチップ上で高速化するために,各レイヤを分割する最適なパーティショニングを決定するアルゴリズムを提案する。 提案手法では,レイヤ間のデータ依存,コア利用,書き込み命令の数などを考慮して,レイテンシやメモリアクセスの最小化,エネルギー効率の向上を図る。 シミュレーションの結果、CompASSはメモリフットプリントを最小化し、スループットを1.78倍に改善し、ベースライン分割方式よりも1.28倍の省エネ化を実現している。

関連論文リスト

• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• A Configurable and Efficient Memory Hierarchy for Neural Network Hardware Accelerator [0.6242215470795112]
  ディープニューラルネットワーク(DNN)の層ごとの適応型メモリアクセスパターンに適したメモリ階層化フレームワークを提案する。 目的は、必要なメモリ容量を最小化することと、高いアクセラレータ性能を維持することのバランスを最適化することである。
  論文  参考訳（メタデータ） (2024-04-24T11:57:37Z)
• RAMAN: A Re-configurable and Sparse tinyML Accelerator for Inference on Edge [1.8293684411977293]
  エッジでのDeep Neural Network(DNN)ベースの推論は、これらの計算およびデータ集約アルゴリズムを低コストで低消費電力で実装する必要があるため、難しい。 エッジ上のInfereNce用のRe-configurableおよびspArse smallML AcceleratorであるRAMANを紹介します。
  論文  参考訳（メタデータ） (2023-06-10T17:25:58Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation [10.563649948220371]
  ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。 それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。 超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-25T18:50:24Z)
• MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
  機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。 本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。 その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
  論文  参考訳（メタデータ） (2021-07-14T19:45:49Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)
• On the Impact of Partial Sums on Interconnect Bandwidth and Memory Accesses in a DNN Accelerator [5.429955391775968]
  専用アクセラレータは、ディープニューラルネットワーク(DNN)アプリケーションの巨大なリソース要件に対処するために設計されています。 本稿では,帯域幅の最適化のために特徴マップを分割する一次解析手法を提案する。 最適パーティショニングとアクティブメモリコントローラは最大40%の帯域幅削減を実現することができる。
  論文  参考訳（メタデータ） (2020-11-02T09:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。