論文の概要: Sub-microsecond Transformers for Jet Tagging on FPGAs

• arxiv url: http://arxiv.org/abs/2510.24784v1
• Date: Sun, 26 Oct 2025 23:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.488425
• Title: Sub-microsecond Transformers for Jet Tagging on FPGAs
• Title（参考訳）: FPGAにおけるジェットタグ用サブマイクロ秒変圧器
• Authors: Lauri Laatu, Chang Sun, Arianna Cox, Abhijith Gandrakota, Benedikt Maier, Jennifer Ngadiuba, Zhiqiang Que, Wayne Luk, Maria Spiropulu, Alexander Tapper,
• Abstract要約: 本稿では,最新の高エネルギー物理ベンチマークの競合性能を実現するFPGA上でのサブマイクロ秒変圧器の実装について述べる。 トランスフォーマーは、CERN Large Hadron Collider (LHC)でのジェットタグ付けを含む、現代の機械学習アプリケーションにおける複数のタスクにおいて、例外的なパフォーマンスを示している。 この研究は、高輝度LHCの次世代トリガーシステムを進歩させ、高エネルギー物理学などにおけるリアルタイム応用にトランスフォーマーを使用することを可能にした。
• 参考スコア（独自算出の注目度）: 36.414144954711865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first sub-microsecond transformer implementation on an FPGA achieving competitive performance for state-of-the-art high-energy physics benchmarks. Transformers have shown exceptional performance on multiple tasks in modern machine learning applications, including jet tagging at the CERN Large Hadron Collider (LHC). However, their computational complexity prohibits use in real-time applications, such as the hardware trigger system of the collider experiments up until now. In this work, we demonstrate the first application of transformers for jet tagging on FPGAs, achieving $\mathcal{O}(100)$ nanosecond latency with superior performance compared to alternative baseline models. We leverage high-granularity quantization and distributed arithmetic optimization to fit the entire transformer model on a single FPGA, achieving the required throughput and latency. Furthermore, we add multi-head attention and linear attention support to hls4ml, making our work accessible to the broader fast machine learning community. This work advances the next-generation trigger systems for the High Luminosity LHC, enabling the use of transformers for real-time applications in high-energy physics and beyond.
• Abstract（参考訳）: 本稿では,最新の高エネルギー物理ベンチマークの競合性能を実現するFPGA上でのサブマイクロ秒変圧器の実装について述べる。 トランスフォーマーは、CERN Large Hadron Collider (LHC)でのジェットタグ付けを含む、現代の機械学習アプリケーションにおける複数のタスクにおいて、例外的なパフォーマンスを示している。 しかし、それらの計算複雑性は、これまでのコライダー実験のハードウェアトリガーシステムのようなリアルタイムアプリケーションでは使用を禁止している。 本研究では,FPGA上でのジェットタグ付けのためのトランスフォーマーの最初の応用を実演し,代替ベースラインモデルと比較して優れた性能で,$\mathcal{O}(100)$ナノ秒レイテンシを実現する。 高粒度量子化と分散演算の最適化を利用して、トランスフォーマーモデル全体を1つのFPGAに適合させ、必要なスループットとレイテンシを実現する。 さらに、hls4mlにマルチヘッドアテンションと線形アテンションのサポートを追加し、より広範な高速機械学習コミュニティで作業が利用できるようになる。 この研究は、高輝度LHCの次世代トリガーシステムを進歩させ、高エネルギー物理学などにおけるリアルタイム応用にトランスフォーマーを使用することを可能にした。

関連論文リスト

• TrackCore-F: Deploying Transformer-Based Subatomic Particle Tracking on FPGAs [0.2851702684899107]
  我々はモノリシックなトランスフォーマー合成のためのツールを開発することを目指しており、特に推論をターゲットにしている。 当社の主なユースケースは、TrackFormersプロジェクトから派生した、追跡のための2つの機械学習モデル設計です。
  論文  参考訳（メタデータ） (2025-09-30T14:44:43Z)
• Design and Implementation of an FPGA-Based Hardware Accelerator for Transformer [0.0]
  トランスフォーマーベースの大規模言語モデルは、注意層とフィードフォワード層のための行列乗法に大きく依存している。 資源制約付き Xilinx KV260 FPGA 上で,高度に最適化されたタイル行列乗算アクセラレータを提案する。 我々の設計では、永続的なオンチップストレージ、最大データ再利用のための堅牢な2レベルタイリング戦略、およびシストリックのような非ローリング計算エンジンを活用している。
  論文  参考訳（メタデータ） (2025-03-20T22:15:42Z)
• Low Latency Transformer Inference on FPGAs for Physics Applications with hls4ml [2.6892725687961394]
  本研究では, hls4ml を用いたフィールドプログラミング可能なゲートアレー (FPGA) におけるトランスフォーマアーキテクチャの効率的な実装を提案する。 VU13P FPGAチップへの展開は2us未満の達成であり、リアルタイムアプリケーションの可能性を示している。
  論文  参考訳（メタデータ） (2024-09-08T19:50:25Z)
• Ultra Fast Transformers on FPGAs for Particle Physics Experiments [2.666074491398626]
  本研究では、FPGA(Field-Programmable Gate Array)上でのトランスフォーマーアーキテクチャの高効率実装を提案する。 我々は,マルチヘッドアテンションやソフトマックス層などのトランスフォーマーモデルの重要なコンポーネントを実装した。 CERNのハードウェアトリガ要件と互換性のあるXilinx UltraScale+ FPGA上で,レイテンシを2$mu$sで記録した。
  論文  参考訳（メタデータ） (2024-02-01T22:32:39Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization [78.18328503396057]
  コンピュータビジョンタスクにおいて、視覚変換器(ViT)は大幅に精度が向上している。 本研究は,提案した混合スキーム量子化に基づくFPGA対応自動ViT加速フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-10T05:54:46Z)
• VAQF: Fully Automatic Software-hardware Co-design Framework for Low-bit Vision Transformer [121.85581713299918]
  量子化ビジョントランス(ViT)のためのFPGAプラットフォーム上で推論アクセラレータを構築するフレームワークVAQFを提案する。 モデル構造と所望のフレームレートから、VAQFはアクティベーションに必要な量子化精度を自動的に出力する。 FPGA上でのViTアクセラレーションに量子化が組み込まれたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-01-17T20:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。