論文の概要: BitStopper: An Efficient Transformer Attention Accelerator via Stage-fusion and Early Termination

• arxiv url: http://arxiv.org/abs/2512.06457v1
• Date: Sat, 06 Dec 2025 14:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.368797
• Title: BitStopper: An Efficient Transformer Attention Accelerator via Stage-fusion and Early Termination
• Title（参考訳）: BitStopper: ステージ融合と早期終了による効率的なトランスフォーマー注意加速器
• Authors: Huizheng Wang, Hongbin Wang, Shaojun Wei, Yang Hu, Shouyi Yin,
• Abstract要約: BitStopperは、粒度の細かいアルゴリズムアーキテクチャの共設計で、スパーシティ予測器を使わずに動作する。 サンガーとSOFAの2.03倍と1.89倍のスピードアップを実現し、エネルギー効率は2.4倍と2.1倍向上した。
• 参考スコア（独自算出の注目度）: 14.53308613746613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-based large language models (LLMs) have transformed modern AI applications, but the quadratic cost of self-attention imposes significant compute and memory overhead. Dynamic sparsity (DS) attention mitigates this, yet its hardware efficiency is limited by the added prediction stage and the heavy memory traffic it entails. To address these limitations, this paper proposes BitStopper, a fine-grained algorithm-architecture co-design that operates without a sparsity predictor. First, a bit-serial enable stage fusion (BESF) mechanism is proposed to reuse and minimize the memory access by progressively terminating trivial tokens and merging the prediction stage into the execution stage. Second, a lightweight and adaptive token selection (LATS) strategy is developed to work in concert with the bit-level sparsity speculation. Third, a bit-level asynchronous processing (BAP) strategy is employed to improve compute utilization during the on-demand bit-grained memory fetching. Finally, an elaborate architecture is designed to translate the theoretical complexity reduction into practical performance improvement. Extensive evaluations demonstrate that, compared to state-of-the-art (SOTA) Transformer accelerators, BitStopper achieves 2.03x and 1.89x speedups over Sanger and SOFA, respectively, while delivering 2.4x and 2.1x improvements in energy efficiency.
• Abstract（参考訳）: 注意に基づく大規模言語モデル(LLM)は、現代のAIアプリケーションに変化をもたらしたが、自己注意の二次的なコストは、計算とメモリのオーバーヘッドを大幅に上回っている。 動的スペーサリティ(DS)の注意は、これを緩和するが、ハードウェア効率は、追加の予測ステージとそれに関連する重いメモリトラフィックによって制限される。 これらの制約に対処するため,提案するBitStopperは,分散予測器を使わずに動作可能な,きめ細かいアルゴリズムアーキテクチャの共設計である。 まず、自明なトークンを徐々に終了させ、予測段階を実行段階にマージすることで、メモリアクセスを再利用し、最小化するために、ビットシリアルイネーブルステージ融合(BESF)機構を提案する。 第二に、軽量かつ適応的なトークン選択(LATS)戦略が、ビットレベルの空間的推測と協調して機能するように開発されている。 第三に、ビットレベルの非同期処理(BAP)戦略を用いて、オンデマンドのビットグレードメモリフェッチ時の計算利用を改善する。 最後に、複雑なアーキテクチャは、理論的複雑性の低減を実用的なパフォーマンス改善に変換するように設計されている。 最先端(SOTA)トランスフォーマーアクセラレータと比較して、BitStopperはSangerとSOFAでそれぞれ2.03倍と1.89倍のスピードアップを実現し、エネルギー効率は2.4倍と2.1倍改善した。

関連論文リスト

• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
  大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。 リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。 この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T02:55:07Z)
• Spark Transformer: Reactivating Sparsity in FFN and Attention [53.221448818147024]
  本稿では, FFNとアテンション機構の両方において, 高レベルのアクティベーション間隔を実現する新しいアーキテクチャであるSpark Transformerを紹介する。 これによりFLOPの2.5倍の削減が可能となり、CPUでは1.79倍、GPUでは1.40倍となる。
  論文  参考訳（メタデータ） (2025-06-07T03:51:13Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)
• Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration [14.958793135751149]
  モバイルデバイス上の畳み込みニューラルネットワーク(CNN)推論は、低精度(INT8)汎用行列乗算(GEMM)の効率的なハードウェアアクセラレーションを必要とする CNN推論のGEMMをさらに加速する一般的な手法であり、特に、構造的スパーシリティは予測可能な負荷分散と非常に低いインデックスオーバーヘッドの利点がある。 ハードウェアの高利用を保ちながら、さまざまな分散レベルのサポートを提供する方法について、構造的疎結合で重要なアーキテクチャ上の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-04T20:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。