論文の概要: LEAF: LUT-aware Efficient Attention on FPGAs

• arxiv url: http://arxiv.org/abs/2610.27078v1
• Date: Mon, 19 Oct 2026 18:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.444764
• Title: LEAF: LUT-aware Efficient Attention on FPGAs
• Title（参考訳）: LEAF:FPGA上でのLUT対応の効率的な注意
• Abstract要約: LEAFはFPGA用の最初のナノ秒スケールLUT対応トランスである。 クエリ、キー、バリュープロジェクション、最終的な出力フィードフォワード層をLUT対応トレーニングを備えたFPGAネイティブ層に変換する。
• 参考スコア（独自算出の注目度）: 37.355381394702356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Lookup-table (LUT)-aware Efficient Attention on FPGAs (LEAF). LEAF is the first nanosecond-scale LUT-aware transformer for FPGAs. Deploying transformers that are large enough to perform well, small enough to fit on an FPGA, and fast enough to meet the sub-microsecond timescales required by real-time systems such as those at CERN remains difficult, since the same attention mechanism that gives these models their high expressivity also makes them costly to implement in hardware. LEAF converts the query, key, and value projections and the final output feed-forward layer into FPGA-native layers with LUT-aware training, creating the first LUT-aware transformer and linformer layers built for ultra-low-latency inference. Attention resists LUT-aware training because it multiplies two activations where the method needs a constant weight to tabulate; LEAF tabulates the attention block's constant matrix-vector multiplications and leaves the rest in arithmetic form. On a standard jet tagging benchmark this improves accuracy by 1.8 percentage points while using 2.9 times fewer LUTs than the previous state-of-the-art sub-microsecond transformer at the same input size. Our most efficient LEAF-based linformer with 64 input particles reaches 80.4% classification accuracy at 28k LUTs and 35ns.
• Abstract（参考訳）: 本稿では,FPGA(LEAF)におけるLookup-table (LUT)を意識した効率的なアテンションを提案する。 LEAFはFPGA用の最初のナノ秒スケールLUT対応トランスである。 FPGAに適合するほど小さく、CERNのようなリアルタイムシステムに必要なサブマイクロ秒タイムスケールを満たすほど高速なトランスフォーマーの配置は、これらのモデルに高い表現性を与えるのと同じ注意機構がハードウェアで実装するのにコストがかかるため、依然として困難である。 LEAFは、クエリ、キー、バリュープロジェクション、最終的な出力フィードフォワード層をLUT対応のトレーニングでFPGAネイティブ層に変換し、超低遅延推論のために構築された最初のLUT対応トランスフォーマーとリンホルダー層を生成する。 LOAFはアテンションブロックの定数行列ベクトル乗算を集計し、残りを算術形式で残す。 標準的なジェットタグ付けベンチマークでは、従来の最先端サブマイクロ秒変圧器の2.9倍のLUTを同じ入力サイズで使用しながら、精度を1.8パーセント向上する。 64個の入力粒子を持つ最も効率的なLEAFベースのリンホルダーは、28k LUTと35nsで80.4%の分類精度に達する。

関連論文リスト

• ELiTeFormer: An Efficient Transformer for FPGAs [3.884894816711594]
  トランスフォーマーブロックは、大きな言語モデル(LLM)で広く使われているが、現在のデプロイメント課題である。 ELiTeFormerは,ハイブリッド線形アテンションと超低精度(3次)線形プロジェクションを一体化した最初のトランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2026-07-04T00:52:06Z)
• Towards Fully FP8 GEMM LLM Training at Scale [77.97607456493257]
  既存のアプローチは、しばしば最適化されたFP8カーネルに依存するか、より高精度な行列乗算に回帰する。 本稿では, トランスブロック内のすべてのGEMMに対して, 前方および後方の両方でFP8計算をサポートする新しいLLMアーキテクチャを提案する。 これにより、特に大規模では、標準的なBF16トレーニングのダウンストリームパフォーマンスにマッチしながら、前例のないスループット向上が可能になる。
  論文  参考訳（メタデータ） (2025-05-26T21:04:14Z)
• TeLLMe: An Energy-Efficient Ternary LLM Accelerator for Prefilling and Decoding on Edge FPGAs [5.889337608109388]
  TeLLMeは、低消費電力FPGAのための最初の3次LLMアクセラレータである。 1.58ビットの重みと8ビットのアクティベーションを使用するプリフィルと自動回帰デコードの両方をサポートする。 7Wの電力予算の下では、TeLLMeは最大9トークン/秒のスループットを1,024トークンのコンテキストで提供する。
  論文  参考訳（メタデータ） (2025-04-22T21:00:58Z)
• Machine Learning Enhanced Quantum State Tomography on FPGA [0.12171407135748794]
  リアルタイム量子状態トモグラフィ(QST)のための機械学習技術が新たな道を開いた 我々は機械学習によるQSTのエッジデバイスへの展開を実証し、特にフィールドプログラマブルゲートアレイ(FPGA)を利用した。
  論文  参考訳（メタデータ） (2025-01-08T07:59:40Z)
• LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference [10.608817382813786]
  混合精度行列(英: Mixed-precision matrix, mpGEMM)は、より高精度な活性化を伴う低精度重みの乗算を含む重要かつ未解明の演算である。 オフザシェルフハードウェアはこの操作をサポートしておらず、間接的、すなわち非効率な復号化ベースの実装に繋がる。 本稿では,mpGEMMのルックアップテーブル(LUT)に基づくアプローチについて検討し,従来のLUT実装では期待値の達成に失敗することを確認した。
  論文  参考訳（メタデータ） (2024-08-12T08:52:14Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• VAQF: Fully Automatic Software-hardware Co-design Framework for Low-bit Vision Transformer [121.85581713299918]
  量子化ビジョントランス(ViT)のためのFPGAプラットフォーム上で推論アクセラレータを構築するフレームワークVAQFを提案する。 モデル構造と所望のフレームレートから、VAQFはアクティベーションに必要な量子化精度を自動的に出力する。 FPGA上でのViTアクセラレーションに量子化が組み込まれたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-01-17T20:27:52Z)
• FTRANS: Energy-Efficient Acceleration of Transformers using FPGA [11.032972017827248]
  本稿では,変換器をベースとした大規模言語表現のための高速化フレームワークFtransを提案する。 本フレームワークは,NLPモデルのモデルサイズを最大16倍に削減する。 FPGA設計は、CPUと比較して27.07倍、81倍の性能向上とエネルギー効率の向上を実現し、GPUと比較して最大8.80倍のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2020-07-16T18:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。