論文の概要: WWW: What, When, Where to Compute-in-Memory

• arxiv url: http://arxiv.org/abs/2312.15896v2
• Date: Thu, 20 Jun 2024 14:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 05:58:16.055803
• Title: WWW: What, When, Where to Compute-in-Memory
• Title（参考訳）: WWW:コンピューティング・イン・メモリとは何か、いつ、どこで?
• Authors: Tanvi Sharma, Mustafa Ali, Indranil Chakraborty, Kaushik Roy,
• Abstract要約: Compute-in-Memory(CiM)は機械学習(ML)推論中に行列乗算を行うための高エネルギー効率ソリューションとして登場した。 ここでは、効率的な行列乗算のためのキャッシュ階層に、どのようなCiMを使用するか、いつどのように組み込むかを検討する。 実験により、CiM集積メモリは、テンソルコアのようなベースラインアーキテクチャと比較して、最大3.4倍、スループットを最大15.6倍向上することが示された。
• 参考スコア（独自算出の注目度）: 6.944507442667191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compute-in-memory (CiM) has emerged as a highly energy efficient solution for performing matrix multiplication during Machine Learning (ML) inference. However, integrating compute in memory poses key questions, such as 1) What type of CiM to use: Given a multitude of CiM design characteristics, determining their suitability from architecture perspective is needed. 2) When to use CiM: ML inference includes workloads with a variety of memory and compute requirements, making it difficult to identify when CiM is more beneficial. 3) Where to integrate CiM: Each memory level has different bandwidth and capacity, creating different data reuse opportunities for CiM integration. To answer such questions regarding on-chip CiM integration for accelerating ML workloads, we use an analytical architecture evaluation methodology where we tailor the dataflow mapping. The mapping algorithm aims to achieve highest weight reuse and reduced data movements for a given CiM prototype and workload. Our experiments show that CiM integrated memory improves energy efficiency by up to 3.4x and throughput by up to 15.6x compared to tensor-core-like baseline architecture, with INT-8 precision under iso-area constraints. We believe the proposed work provides insights into what type of CiM to use, and when and where to optimally integrate it in the cache hierarchy for efficient matrix multiplication.
• Abstract（参考訳）: Compute-in-Memory(CiM)は機械学習(ML)推論中に行列乗算を行うための高エネルギー効率ソリューションとして登場した。 しかし、メモリにコンピュートを統合すると、重要な疑問が浮き彫りになる。 1) どのようなCiMを使うか: 多数のCiM設計特性が与えられた場合、アーキテクチャの観点からその適合性を決定する必要がある。 2) CiMを使用する場合: ML推論には、さまざまなメモリと計算要件のワークロードが含まれているため、CiMがより有用であるかどうかの特定が難しい。 3) CiMを統合する場所: 各メモリレベルには異なる帯域幅とキャパシティがあり、CiM統合のための異なるデータ再利用機会を作成します。 機械学習ワークロードを高速化するためのオンチップCiM統合に関する疑問に答えるために、分析アーキテクチャ評価手法を用いて、データフローマッピングをカスタマイズする。 このマッピングアルゴリズムは、与えられたCiMプロトタイプとワークロードに対して、最高重量再利用とデータ移動の削減を実現することを目的としている。 実験により,CiM集積メモリはテンソルコア型ベースラインアーキテクチャと比較して最大3.4倍,スループットを最大15.6倍向上し,INT-8の精度は等距離制約下で向上した。 提案した研究は、どのタイプのCiMを使うか、いつ、どこで、効率的な行列乗算のためにキャッシュ階層にそれを最適に統合するかについての洞察を提供すると信じています。

関連論文リスト

• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
  ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。 提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。 アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
  論文  参考訳（メタデータ） (2024-04-23T17:26:34Z)
• Analysis of Distributed Optimization Algorithms on a Real Processing-In-Memory System [21.09681871279162]
  Processing-In-Memory(PIM)は、データ移動のボトルネックを軽減するための有望なソリューションである。 我々のゴールは、現実世界のPIMアーキテクチャ上で人気のある分散最適化アルゴリズムの機能と特性を理解することである。
  論文  参考訳（メタデータ） (2024-04-10T17:00:04Z)
• CLSA-CIM: A Cross-Layer Scheduling Approach for Computing-in-Memory Architectures [0.1747623282473278]
  CIMアーキテクチャの階層間スケジューリングアルゴリズムであるCLSA-CIMを提案する。 CLSA-CIMと既存の重み付け戦略を統合し,SOTA(State-of-the-art)スケジューリングアルゴリズムとの比較を行った。
  論文  参考訳（メタデータ） (2024-01-15T13:35:21Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  AQLMは、パラメータ毎に3ビット未満に圧縮する場合、精度-vs-モデルサイズで最適である最初のスキームである。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供する。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
  クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。 既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。 本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-14T00:07:47Z)
• An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System [9.429605859159023]
  機械学習(ML)アルゴリズムのトレーニングは、計算集約的なプロセスであり、しばしばメモリバウンドである。 メモリ内の処理能力を備えたメモリ中心のコンピューティングシステムは、このデータ移動ボトルネックを軽減することができる。 実世界の汎用PIMアーキテクチャ上で,いくつかの代表的古典的MLアルゴリズムを実装した。
  論文  参考訳（メタデータ） (2022-07-16T09:39:53Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Continual Learning Approach for Improving the Data and Computation Mapping in Near-Memory Processing System [3.202860612193139]
  ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。 AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。 本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
  論文  参考訳（メタデータ） (2021-04-28T09:50:35Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。