論文の概要: Ultra Fast Transformers on FPGAs for Particle Physics Experiments

• arxiv url: http://arxiv.org/abs/2402.01047v1
• Date: Thu, 1 Feb 2024 22:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:43:20.640125
• Title: Ultra Fast Transformers on FPGAs for Particle Physics Experiments
• Title（参考訳）: FPGAの超高速変圧器による粒子物理実験
• Authors: Zhixing Jiang, Dennis Yin, Elham E Khoda, Vladimir Loncar, Ekaterina Govorkova, Eric Moreno, Philip Harris, Scott Hauck, Shih-Chieh Hsu
• Abstract要約: 本研究では、FPGA(Field-Programmable Gate Array)上でのトランスフォーマーアーキテクチャの高効率実装を提案する。 我々は,マルチヘッドアテンションやソフトマックス層などのトランスフォーマーモデルの重要なコンポーネントを実装した。 CERNのハードウェアトリガ要件と互換性のあるXilinx UltraScale+ FPGA上で,レイテンシを2$mu$sで記録した。
• 参考スコア（独自算出の注目度）: 2.666074491398626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a highly efficient implementation of the transformer architecture on a Field-Programmable Gate Array (FPGA) by using the \texttt{hls4ml} tool. Given the demonstrated effectiveness of transformer models in addressing a wide range of problems, their application in experimental triggers within particle physics becomes a subject of significant interest. In this work, we have implemented critical components of a transformer model, such as multi-head attention and softmax layers. To evaluate the effectiveness of our implementation, we have focused on a particle physics jet flavor tagging problem, employing a public dataset. We recorded latency under 2 $\mu$s on the Xilinx UltraScale+ FPGA, which is compatible with hardware trigger requirements at the CERN Large Hadron Collider experiments.
• Abstract（参考訳）: 本研究では, FPGA (Field-Programmable Gate Array) 上でのトランスフォーマーアーキテクチャの実装を, \texttt{hls4ml} ツールを用いて高効率に行うことを提案する。 様々な問題に対するトランスフォーマーモデルの有効性が実証されていることから、粒子物理学における実験トリガーへの応用は重要な関心の対象となっている。 本研究では,マルチヘッドアテンションやソフトマックス層といったトランスフォーマーモデルの重要なコンポーネントを実装した。 提案手法の有効性を評価するため,我々は公開データセットを用いて,粒子物理ジェットのフレーバータグング問題に焦点をあてた。 Xilinx UltraScale+ FPGAでは,CERN Large Hadron Collider実験において,ハードウェアトリガ要件と互換性のある2$\mu$sでレイテンシを記録した。

関連論文リスト

• Low Latency Transformer Inference on FPGAs for Physics Applications with hls4ml [2.6892725687961394]
  本研究では, hls4ml を用いたフィールドプログラミング可能なゲートアレー (FPGA) におけるトランスフォーマアーキテクチャの効率的な実装を提案する。 VU13P FPGAチップへの展開は2us未満の達成であり、リアルタイムアプリケーションの可能性を示している。
  論文  参考訳（メタデータ） (2024-09-08T19:50:25Z)
• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• Fast Neural Network Inference on FPGAs for Triggering on Long-Lived Particles at Colliders [0.0]
  本研究では,中性長寿命粒子が検出器体積内で崩壊する事象を選択するための2つの機械学習アルゴリズムを提案する。 提案したアルゴリズムは, ベンチマークのシナリオにおいて有効であることが証明され, FPGAカード上での高速化では精度が劣化しないことが判明した。
  論文  参考訳（メタデータ） (2023-07-11T10:17:57Z)
• AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers [6.0093441900032465]
  自己注意に基づくトランスフォーマーモデルは自然言語処理の分野で大きな成功を収めた。 従来の作業は、ハードウェアの利用を制限する注意操作に関わる大きな行列を直接操作する。 低オーバーヘッドで実行時にアクティベーションを発生させる新しい動的推論スキームDynaTranを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:17:23Z)
• Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection [119.93025368028083]
  我々は、新しいトランスフォーマー型ヒューマンオブジェクトインタラクション(HOI)検出器、すなわち、インタラクション提案(STIP)による構造認識トランスフォーマーを設計する。 STIPはHOIセット予測の過程を、まず相互作用の提案生成を行い、次に構造認識変換器を介して非パラメトリック相互作用提案をHOI予測に変換する2つのフェーズに分解する。 構造対応トランスフォーマーは、相互作用提案間の相同的意味構造を付加してバニラトランスフォーマーをアップグレードし、各相互作用提案内の人間・物体の局所的空間構造を付加し、HOIを強化する。
  論文  参考訳（メタデータ） (2022-06-13T16:21:08Z)
• An Extendable, Efficient and Effective Transformer-based Object Detector [95.06044204961009]
  我々は、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。 ViDTは、最近のSwin Transformerをスタンドアロンのオブジェクト検出器に拡張するために、再構成されたアテンションモジュールを導入した。 オブジェクト検出とインスタンスセグメンテーションのための共同タスク学習をサポートするために、ViDT+に拡張する。
  論文  参考訳（メタデータ） (2022-04-17T09:27:45Z)
• ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
  検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。 視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。 本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:05Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking [74.82415271960315]
  映像内の物体間の空間的・時間的相互作用を効率的にモデル化するソリューションであるTransMOTを提案する。 TransMOTは従来のTransformerよりも計算効率が高いだけでなく、トラッキング精度も向上している。 提案手法は、MOT15、MOT16、MOT17、MOT20を含む複数のベンチマークデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-04-01T01:49:05Z)
• Distance-Weighted Graph Neural Networks on FPGAs for Real-Time Particle Reconstruction in High Energy Physics [11.125632758828266]
  FPGA上で1$mumathrms未満のレイテンシで実行できる距離重み付きグラフネットワークの設計方法について論じる。 本研究では,粒子衝突型加速器で動作する次世代熱量計における粒子の再構成と同定に関連する代表的課題について考察する。 我々は、圧縮されたモデルをファームウェアに変換し、FPGA上で実装する。
  論文  参考訳（メタデータ） (2020-08-08T21:26:31Z)
• Transformer on a Diet [81.09119185568296]
  トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。 BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。 計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-14T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。