論文の概要: Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation

• arxiv url: http://arxiv.org/abs/2608.23582v1
• Date: Thu, 06 Aug 2026 06:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 05:49:59.244667
• Title: Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
• Title（参考訳）: Transformer Accelerator (TFA): 変圧器推論と機械翻訳のためのMacro-Op INT8ハードウェアチップ
• Abstract要約: Transformer Accelerator (TFA) は、Transformer推論のためのシンセサイザー可能な、パラメータ化可能なINT8メモリ・ツー・メモリエンジンである。 TFAは行列乗法、ソフトマックス、RMSNorm、要素演算、コピー/ガザ演算を8つの512ビットマクロ-op記述子で実装している。 RTLは出力定常多重累積配列と、DMAと計算の重なり合うピンポンバッファ、ビットエクサクサク逆二乗根と分割単位、キー値キャッシュと埋め込みアドレス処理、およびアボトセーフゼロパディング書き込みエンジンを結合する。
• 参考スコア（独自算出の注目度）: 0.3882135185458233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the Transformer Accelerator (TFA), a synthesizable, parameterizable INT8 memory-to-memory engine for transformer inference. One time-multiplexed datapath handles prompt processing and autoregressive generation. TFA implements matrix multiplication, softmax, RMSNorm, elementwise, and copy/gather operations through eight 512-bit macro-op descriptors. Offline-compiled programs are fetched, validated, and dispatched through AXI interfaces, supporting encoder, decoder, and encoder-decoder models. The RTL combines an output-stationary multiply-accumulate array with ping-pong buffers that overlap DMA and compute, bit-exact reciprocal-square-root and divide units, key-value-cache and embedding addressing, and an abort-safe zero-padding write engine. A UVM environment byte-compares outputs against a bit-exact golden model. Across 25 tests and 34 constrained-random runs, TFA achieved zero mismatches, 100% functional coverage, and 94.96% code coverage. We compiled the t5-small encoder-decoder pipeline for English-to-French, German, and Romanian translation. On ten multilingual proverbs, TFA executed 70,320 descriptors and matched 37.9 MB of golden-model output with zero mismatches. INT8 output matched the floating-point reference token-for-token on five sentences; the rest produced valid alternative translations. Randomized-Hadamard reparameterization recovered about 11 dB of per-tensor INT8 signal-to-noise ratio across layers. The verification configuration achieved about 20x end-to-end speedup over a 22-thread CPU, while larger designs are projected to reduce energy per token by about 1000x. After RAM inference recoding, logic area fell to 2.73 mm2, and the design completed design-rule-clean synthesis and place-and-route on SkyWater sky130. TFA demonstrates end-to-end, bit-exact execution of pretrained transformers using compact hardware and compiler-managed quantization.
• Abstract（参考訳）: 本稿では,Transformer Accelerator (TFA) を提案する。 1つの時間多重データパスは、プロンプト処理と自己回帰生成を処理する。 TFAは行列乗法、ソフトマックス、RMSNorm、要素演算、コピー/ガザ演算を8つの512ビットマクロ-op記述子で実装している。 オフラインコンパイルされたプログラムは、AXIインターフェースを介してフェッチ、検証、送信され、エンコーダ、デコーダ、エンコーダ-デコーダモデルをサポートする。 RTLは出力定常多重累積配列と、DMAと計算の重なり合うピンポンバッファ、ビットエクサクサク逆二乗根と分割単位、キー値キャッシュと埋め込みアドレス処理、およびアボトセーフゼロパディング書き込みエンジンを結合する。 UVM環境バイトコンプリートは、ビット励起ゴールデンモデルに対して出力を出力する。 25回のテストと34回の制限付きランダム実行で、TFAはミスマッチゼロ、100%機能カバレッジ、94.96%のコードカバレッジを達成した。 t5-small encoder-decoder Pipelineを英語からフランス語、ドイツ語、ルーマニア語への翻訳用にコンパイルした。 10の多言語証明において、TFAは70,320のディスクリプタを実行し、37.9MBのゴールデンモデル出力と一致した。 INT8出力は5つの文で浮動小数点参照トークンと一致し、残りは有効な代替翻訳を生成する。 ランダム化・アダマール再パラメータ化は、各テンソルごとのINT8信号-雑音比の約11dBを回収した。 検証構成は22スレッドのCPUで約20倍のスピードアップを実現し、より大きな設計ではトークン当たりのエネルギーを約1000倍削減する。 RAM推論の復号後、論理領域は2.73mm2に低下し、設計はSkyWater Sky130で設計・ルール・クリーンの合成と配置を完了した。 TFAは、コンパクトハードウェアとコンパイラ管理量子化を用いて、事前訓練されたトランスフォーマーのエンドツーエンドのビット実行を実証する。

関連論文リスト

• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Binary and Ternary Natural Language Generation [24.295815261826153]
  三項ニューラルネットワークと二項ニューラルネットワークは、乗算不要な計算を可能にする。 完全精度ネットワーク上では、複数の桁の効率向上を約束する。 しかし、そのようなネットワークの最適化は非常に困難であることが証明されている。 要約および機械翻訳の下流タスクにおいて、第1次および第2次変換器モデルを示す。
  論文  参考訳（メタデータ） (2023-06-02T18:01:02Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Token Shift Transformer for Video Classification [34.05954523287077]
  トランスフォーマーは1次元信号と2次元信号の理解において顕著な成功を収める。 エンコーダは自然にペアワイズ・セルフアテンションのような計算集約的な操作を含む。 本稿では,各トランスエンコーダ内の時間関係をモデル化するためのToken Shift Module(TokShift)を提案する。
  論文  参考訳（メタデータ） (2021-08-05T08:04:54Z)
• Towards Fully 8-bit Integer Inference for the Transformer Model [39.22272841663168]
  トランスフォーマーと呼ばれるトランスフォーマーアーキテクチャを原理的に修正した後、(ほぼ)完全8ビット整数推論アルゴリズムが導出可能であることを示す。 We experiment on WMT16 En->Ro, WMT14 En->De and En->Fr translation task as the WikiText-103 language modelling task shows that the fully 8-bit Transformer system achieves comparable performance with the floating point baseline but nearly 4x less memory footprint。
  論文  参考訳（メタデータ） (2020-09-17T03:09:10Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)
• Learning Accurate Integer Transformer Machine-Translation Models [0.05184427980355132]
  本論文では、8ビット整数(INT8)ハードウェア行列乗算器を用いて推論を行うための正確なトランスフォーマー機械翻訳モデルの訓練方法について述べる。 提案手法は,既存のFP32モデルからの行列乗算テンソルをすべてINT8テンソルに変換する。
  論文  参考訳（メタデータ） (2020-01-03T18:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。