Fugu-MT 論文翻訳(概要): Analog In-Memory Computing Attention Mechanism for Fast and Energy-Efficient Large Language Models

論文の概要: Analog In-Memory Computing Attention Mechanism for Fast and Energy-Efficient Large Language Models

arxiv url: http://arxiv.org/abs/2409.19315v1
Date: Sat, 28 Sep 2024 11:00:11 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 23:58:48.308863
Title: Analog In-Memory Computing Attention Mechanism for Fast and Energy-Efficient Large Language Models
Title（参考訳）: 高速かつエネルギー効率の良い大言語モデルのためのアナログインメモリ・コンピューティング・アテンション機構
Authors: Nathan Leroux, Paul-Philipp Manea, Chirag Sudarshan, Jan Finkbeiner, Sebastian Siegel, John Paul Strachan, Emre Neftci,
Abstract要約: 自己認識機構によって駆動されるトランスフォーマーニューラルネットワークは、基礎的および大規模言語モデルのコアコンポーネントである。ジェネレーティブトランスフォーマーでは、自己アテンションはキャッシュメモリを使用してトークンプロジェクションを格納し、各ステップで再計算を避ける。本稿では,利得セルメモリに基づくアナログインメモリ・コンピューティングを用いた,高速かつエネルギー効率のハードウェア実装を提案する。
参考スコア（独自算出の注目度）: 0.755189019348525
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformer neural networks, driven by self-attention mechanisms, are core components of foundational and Large Language Models. In generative transformers, self-attention uses cache memory to store token projections, avoiding recomputation at each time step. However, GPU-stored projections must be loaded into SRAM for each new generation step, causing latency and energy bottlenecks for long sequences. In this work, we propose a fast and energy-efficient hardware implementation of self-attention using analog in-memory computing based on gain cell memories. Volatile gain cell memories can be efficiently written to store new tokens during sequence generation, while performing analog signed weight multiplications to compute the dot-products required for self-attention. We implement Sliding Window Attention, which keeps memory of a finite set of past steps. A charge-to-pulse converter for array readout eliminates the need for analog-to-digital conversion between self-attention stages. Using a co-designed initialization algorithm to adapt pre-trained weights to gain cell non-idealities, we achieve NLP performance comparable to ChatGPT-2 with minimal training iterations, despite hardware constraints. Our end-to-end hardware design includes digital controls, estimating area, latency, and energy. The system reduces attention latency by up to two orders of magnitude and energy consumption by up to five orders compared to GPUs, marking a significant step toward ultra-fast, low-power sequence generation in Large Language Models.
Abstract（参考訳）: 自己認識機構によって駆動されるトランスフォーマーニューラルネットワークは、基礎的および大規模言語モデルのコアコンポーネントである。ジェネレーティブトランスフォーマーでは、自己アテンションはキャッシュメモリを使用してトークンプロジェクションを格納し、各ステップで再計算を避ける。しかし、GPUストアドプロジェクションは、新しい世代のステップごとにSRAMにロードされなければならない。本稿では,利得セルメモリに基づくアナログインメモリ・コンピューティングを用いた,高速でエネルギー効率の高い自己認識ハードウェアの実装を提案する。揮発性ゲイン細胞記憶は、配列生成中に新しいトークンを保存するために効率的に書き込むことができ、アナログ符号付き重み乗算を行い、自己保持に必要なドット積を計算する。 Sliding Window Attentionを実装し、過去のステップの有限セットのメモリを保持する。配列読み出しのためのチャージ・ツー・パルス変換器は、自己アテンション段階間のアナログ・デジタル変換を不要にする。初期化アルゴリズムを用いて事前学習した重みをセルの非理想性に適応させ,ハードウェア制約にもかかわらず最小限のトレーニング繰り返しでChatGPT-2に匹敵するNLP性能を実現する。エンドツーエンドのハードウェア設計には、デジタルコントロール、エリアの推定、レイテンシ、エネルギが含まれています。このシステムは、GPUと比較して最大で2桁の遅延と最大5桁のエネルギー消費を減らし、大規模言語モデルにおける超高速で低消費電力のシーケンス生成に向けた重要なステップとなる。

関連論文リスト

Gated Slot Attention for Efficient Linear-Time Sequence Modeling [59.019501274074564]
Gated Slot Attention(GSA)は境界メモリ・コントロル(ABC)による注意を高める GSAはGated Linear Attention (GLA)にインスパイアされたゲーティング機構を組み込んでいる
論文参考訳（メタデータ） (2024-09-11T09:49:50Z)
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks [2.9699290794642366]
ARTEMISは、トランスフォーマーモデルのための混合アナログ確率型インDRAMアクセラレータである。解析の結果、ARTEMISはGPU、TPU、CPU、最先端のPIMトランスハードウェアアクセラレータと比較して、少なくとも3.0倍のスピードアップ、1.8倍のエネルギー、そして1.9倍のエネルギー効率を示した。
論文参考訳（メタデータ） (2024-07-17T15:08:14Z)
Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference [1.0919012968294923]
本稿では,頭部の疎度を用いてトランスフォーマーを高速化し,疎度をブロックし,注意の計算を減らし,メモリアクセスを減らし,新しいアルゴリズムアーキテクチャの共設計手法を提案する。注目スコアと注目ヘッドの巨大な冗長性を観測し、実行時に注目行列内の重要でないブロックをプルーする整数ベースの行平衡ブロックプルーニングを提案する。また、実行時に重要でないヘッドを検出およびプルーする整数ベースのヘッドプルーニングを提案する。
論文参考訳（メタデータ） (2024-07-17T11:15:16Z)
Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference [2.9302211589186244]
大規模言語モデル(LLM)は自然言語処理を変換し、機械が人間のようなテキストを生成し、意味のある会話を行うことを可能にする。計算と記憶能力の発達はムーアの法則の廃止によってさらに悪化している。コンピュート・イン・メモリ(CIM)技術は、メモリ内でアナログ計算を直接実行することにより、AI推論を加速するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2024-06-12T16:57:58Z)
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
論文参考訳（メタデータ） (2024-05-17T00:52:39Z)
Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文参考訳（メタデータ） (2024-04-08T16:34:35Z)
Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。有望な解決策の1つは、アナログコンピューティングを再考することである。ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文参考訳（メタデータ） (2023-11-13T08:59:01Z)
Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文参考訳（メタデータ） (2023-05-30T19:25:51Z)
A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining [28.336502115532905]
本稿ではトランスフォーマーアクセラレーションのためのコヒーレントシーケンス長適応型アルゴリズム-ハードウェア共設計を提案する。ハードウェアフレンドリーなスパースアテンション演算子と長編ハードウェアリソーススケジューリングアルゴリズムを開発した。我々の設計は、非常に小さな精度の損失があり、CPUやGPUの実装と比較して80.2$times$と2.6$times$ Speedupがある。
論文参考訳（メタデータ） (2022-08-07T05:48:38Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)
One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。