論文の概要: Leveraging Compute-in-Memory for Efficient Generative Model Inference in TPUs

• arxiv url: http://arxiv.org/abs/2503.00461v1
• Date: Sat, 01 Mar 2025 12:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:08.343737
• Title: Leveraging Compute-in-Memory for Efficient Generative Model Inference in TPUs
• Title（参考訳）: TPUにおける効率的な生成モデル推論のためのCompute-in-Memoryの活用
• Authors: Zhantong Zhu, Hongou Li, Wenjie Ren, Meng Wu, Le Ye, Ru Huang, Tianyu Jia,
• Abstract要約: Processing Units(TPU)は、AIワークロードを高速化するように設計されている。 CIM(Compute-in-Memory)は、より優れた領域とエネルギー効率を持つ有望なパラダイムとして登場した。 本稿では,デジタルCIMを統合したTPUアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 3.2265434028777973
• License:
• Abstract: With the rapid advent of generative models, efficiently deploying these models on specialized hardware has become critical. Tensor Processing Units (TPUs) are designed to accelerate AI workloads, but their high power consumption necessitates innovations for improving efficiency. Compute-in-memory (CIM) has emerged as a promising paradigm with superior area and energy efficiency. In this work, we present a TPU architecture that integrates digital CIM to replace conventional digital systolic arrays in matrix multiply units (MXUs). We first establish a CIM-based TPU architecture model and simulator to evaluate the benefits of CIM for diverse generative model inference. Building upon the observed design insights, we further explore various CIM-based TPU architectural design choices. Up to 44.2% and 33.8% performance improvement for large language model and diffusion transformer inference, and 27.3x reduction in MXU energy consumption can be achieved with different design choices, compared to the baseline TPUv4i architecture.
• Abstract（参考訳）: 生成モデルの急速な出現に伴い、これらのモデルを特別なハードウェアに効率的にデプロイすることが重要になっている。 テンソル処理ユニット(TPU)はAIワークロードを高速化するために設計されているが、その高消費電力は効率を改善するためにイノベーションを必要とする。 コンピュート・イン・メモリ(CIM)は、より優れた領域とエネルギー効率を持つ有望なパラダイムとして登場した。 本稿では,行列乗算ユニット(MXU)における従来のデジタルシストリクスアレイを置き換えるために,デジタルCIMを統合したTPUアーキテクチャを提案する。 まず、CIMに基づくTPUアーキテクチャモデルとシミュレータを構築し、多様な生成モデル推論に対するCIMの利点を評価する。 観測された設計の洞察に基づいて、CIMベースのTPUアーキテクチャ設計の選択肢をさらに探求する。 大規模言語モデルと拡散変圧器の推論の性能は44.2%と33.8%向上し、MXUのエネルギー消費はベースラインのTPUv4iアーキテクチャと比較して27.3倍削減できる。

関連論文リスト

• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• PIM-AI: A Novel Architecture for High-Efficiency LLM Inference [0.4746684680917117]
  本稿では,大規模言語モデル推論用に設計された新しいDDR5/LPDDR5 PIMアーキテクチャであるPIM-AIを紹介する。 クラウドベースのシナリオでは、PIM-AIはクエリ毎秒あたりの3年間のTCOを最大6.94倍削減する。 モバイルシナリオでは、PIM-AIは最先端のモバイルSOCと比較してトークン当たりのエネルギーを10倍から20倍に削減する。
  論文  参考訳（メタデータ） (2024-11-26T10:54:19Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Neural Architecture Search of Hybrid Models for NPU-CIM Heterogeneous AR/VR Devices [10.75997684204274]
  ヘテロジニアスエッジシステムのための効率的なハイブリッドCNN/ViTモデルを設計するためのニューラルネットワーク探索フレームワークであるH4H-NASを紹介する。 Algo/HW共同設計の結果、全体のレイテンシは56.08%、エネルギーは41.72%向上した。
  論文  参考訳（メタデータ） (2024-10-10T19:30:34Z)
• Flex-TPU: A Flexible TPU with Runtime Reconfigurable Dataflow Architecture [0.0]
  この作業はFlex-TPUと呼ばれる再構成可能なデータフローTPUの開発で構成されており、実行時に層ごとのデータフローを動的に変更することができる。 その結果,Flex-TPUの設計は従来のTPUに比べて2.75倍の大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T17:33:38Z)
• Insight Gained from Migrating a Machine Learning Model to Intelligence Processing Units [8.782847610934635]
  インテリジェンス処理ユニット(IPU)は、機械学習(ML)アプリケーションのためのGPUに代わる実行可能なアクセラレータを提供する。 本稿では,GPU から IPU へモデルを移行するプロセスについて検討し,パイプライニングや勾配蓄積などの最適化手法について検討する。 従来のColossus IPUと比較して,Bow IPUの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2024-04-16T17:02:52Z)
• Heterogeneous Integration of In-Memory Analog Computing Architectures with Tensor Processing Units [0.0]
  本稿では,IMACユニットとエッジTPUを統合してモバイルCNNの性能を向上させる,新しい,異種,混合信号,混合精度アーキテクチャを提案する。 本稿では,TPU-IMACアーキテクチャ上にモデルをデプロイする際の潜在的な精度低下を軽減するために,混合精度トレーニング手法を取り入れた統合学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T19:44:56Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。