論文の概要: Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
- arxiv url: http://arxiv.org/abs/2607.22786v1
- Date: Fri, 24 Jul 2026 12:09:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.878412
- Title: Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
- Title（参考訳）: FPGAにおける実時間外乱検出のための変圧器ニューラルネットワークの最適化
- Abstract要約: 金融時系列におけるリアルタイム異常検出への応用により,トランスフォーマーニューラルネットワークの推論時間を効率的に最適化できることを示す。
時系列モデリングのための異なるTransformerアーキテクチャとFPGAボード上でどのように効率的に実装できるかを検討する。
- 参考スコア（独自算出の注目度）: 0.34410212782758043
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we explore how the inference time of a Transformer Neural Network can be efficiently optimized with applications to real-time anomaly detection in financial time series. The financial time series are price series such as asset prices. Unfortunately, the data is often with errors or outliers that make the downstream data processing tasks useless, unstable or even harmful. Moreover, the amount of financial time-series data has been significantly increasing. Hence, there is a need for better data-cleaning methods in terms of accuracy and in terms of processing speed. Transformers as a neural network architecture have achieved superior performances in many tasks such as Natural Language Processing and Computer Vision. Time series modelling and especially anomaly detection tasks can benefit from the features of transformers architecture in multiple ways, including the capacity to capture long-range dependencies and interactions. Increasingly powerful hardware, such as field-programmable gate arrays (FPGAs), have seen increasing usage in recent years due to their reconfigurability and high performance. They can be efficiently utilized to speed up the computations of the Transformer architecture. We explore different Transformer architectures for time series modelling and how they can be efficiently implemented on an FPGA board (PYNQ-Z2). In particular, we examine the application of Transformers to detect anomalies in time series and we show how they can be efficiently implemented on an FPGA board to minimize latency. The code is available at https://github.com/thxi/icl_thesis
- Abstract（参考訳）: 本研究では,金融時系列におけるリアルタイム異常検出への応用において,トランスフォーマーニューラルネットワークの推論時間を効率的に最適化する方法について検討する。
金融時系列は、資産価格などの価格シリーズである。
残念なことに、ダウンストリームのデータ処理タスクを無駄にしたり、不安定にしたり、有害にしたりするようなエラーや異常が発生します。
さらに、金融時系列データの量は大幅に増加している。
したがって、精度と処理速度の点で、より良いデータクリーニング方法が必要である。
ニューラルネットワークアーキテクチャとしてのトランスフォーマーは、自然言語処理やコンピュータビジョンなど、多くのタスクにおいて優れたパフォーマンスを実現している。
時系列モデリング、特に異常検出タスクは、長距離依存関係やインタラクションをキャプチャする機能を含む、トランスフォーマーアーキテクチャの特徴から恩恵を受けることができる。
フィールドプログラマブルゲートアレイ(FPGA)のような強力なハードウェアは、再構成性や高性能のため、近年ますます普及している。
それらは、Transformerアーキテクチャの計算を高速化するために効率的に利用することができる。
時系列モデリングのための異なるトランスフォーマーアーキテクチャとFPGAボード(PYNQ-Z2)上で効率的に実装する方法を検討する。
特に,時系列中の異常を検出するためのトランスフォーマーの応用について検討し,FPGA基板上に効率よく実装して遅延を最小限に抑える方法を示す。
コードはhttps://github.com/thxi/icl_thesisで公開されている。
関連論文リスト
- DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。
ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。
提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
論文 参考訳（メタデータ） (2025-11-21T16:15:43Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning [42.862705980039784]
Transformerは、時間変化のある特徴をモデル化するための強化学習を約束している。
データ効率の低下と推論遅延の低さに悩まされている。
本稿では,周波数領域の新しい視点から課題を考察する。
論文 参考訳（メタデータ） (2024-05-30T09:43:59Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:44:09Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA
Through Sparse Attention and Dynamic Pipelining [28.336502115532905]
本稿ではトランスフォーマーアクセラレーションのためのコヒーレントシーケンス長適応型アルゴリズム-ハードウェア共設計を提案する。
ハードウェアフレンドリーなスパースアテンション演算子と長編ハードウェアリソーススケジューリングアルゴリズムを開発した。
我々の設計は、非常に小さな精度の損失があり、CPUやGPUの実装と比較して80.2$times$と2.6$times$ Speedupがある。
論文 参考訳（メタデータ） (2022-08-07T05:48:38Z) - What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。
様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
論文 参考訳（メタデータ） (2022-05-27T14:36:55Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳（メタデータ） (2021-08-29T08:49:31Z) - Transformers predicting the future. Applying attention in next-frame and
time series forecasting [0.0]
繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。
トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
論文 参考訳（メタデータ） (2021-08-18T16:17:29Z) - Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。
提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
論文 参考訳（メタデータ） (2021-06-29T09:01:13Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳（メタデータ） (2021-06-23T17:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。