論文の概要: Automating Versatile Time-Series Analysis with Tiny Transformers on Embedded FPGAs

• arxiv url: http://arxiv.org/abs/2505.17662v1
• Date: Fri, 23 May 2025 09:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.95822
• Title: Automating Versatile Time-Series Analysis with Tiny Transformers on Embedded FPGAs
• Title（参考訳）: 組み込みFPGA上でのTiny変換器による可変時間系列解析の自動化
• Authors: Tianheng Ling, Chao Qian, Lukas Johannes Haßler, Gregor Schiele,
• Abstract要約: 本稿では,組み込みFPGA上でのTiny Transformersの統一的かつ完全に自動化されたデプロイメントフレームワークを提案する。 我々のフレームワークは、3つの典型的な時系列タスクにまたがるコンパクトエンコーダのみのトランスフォーマーアーキテクチャをサポートしている。 その結果,AMD Spartan-7では,1推論あたり0.033mJとミリ秒のレイテンシで達成できる,整数のみのタスク固有のトランスフォーマーアクセラレータを作成した。
• 参考スコア（独自算出の注目度）: 18.15754187896287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have shown strong performance across diverse time-series tasks, but their deployment on resource-constrained devices remains challenging due to high memory and computational demand. While prior work targeting Microcontroller Units (MCUs) has explored hardware-specific optimizations, such approaches are often task-specific and limited to 8-bit fixed-point precision. Field-Programmable Gate Arrays (FPGAs) offer greater flexibility, enabling fine-grained control over data precision and architecture. However, existing FPGA-based deployments of Transformers for time-series analysis typically focus on high-density platforms with manual configuration. This paper presents a unified and fully automated deployment framework for Tiny Transformers on embedded FPGAs. Our framework supports a compact encoder-only Transformer architecture across three representative time-series tasks (forecasting, classification, and anomaly detection). It combines quantization-aware training (down to 4 bits), hardware-aware hyperparameter search using Optuna, and automatic VHDL generation for seamless deployment. We evaluate our framework on six public datasets across two embedded FPGA platforms. Results show that our framework produces integer-only, task-specific Transformer accelerators achieving as low as 0.033 mJ per inference with millisecond latency on AMD Spartan-7, while also providing insights into deployment feasibility on Lattice iCE40. All source code will be released in the GitHub repository (https://github.com/Edwina1030/TinyTransformer4TS).
• Abstract（参考訳）: トランスフォーマーベースのモデルでは、さまざまな時系列タスクに対して高いパフォーマンスを示しているが、高いメモリと計算要求のため、リソース制限されたデバイスへの展開は依然として困難である。 マイクロコントローラユニット(MCU)を対象とする以前の作業では、ハードウェア固有の最適化が検討されてきたが、そのようなアプローチはしばしばタスク固有であり、8ビットの固定点精度に制限される。 Field-Programmable Gate Arrays (FPGA)は、データ精度とアーキテクチャのきめ細かい制御を可能にする柔軟性を提供する。 しかし、既存のFPGAベースの時系列解析用Transformerのデプロイメントは、通常は手動構成の高密度プラットフォームに重点を置いている。 本稿では,組み込みFPGA上でのTiny Transformersの統一的かつ完全に自動化されたデプロイメントフレームワークを提案する。 本フレームワークは,3つの時系列タスク(予測,分類,異常検出)にまたがる,コンパクトなエンコーダのみのトランスフォーマーアーキテクチャをサポートする。 量子化対応トレーニング(最大4ビット)、Optunaを使用したハードウェア対応ハイパーパラメータ検索、シームレスなデプロイメントのためのVHDL自動生成を組み合わせたものだ。 2つの組み込みFPGAプラットフォームにまたがる6つの公開データセット上で、我々のフレームワークを評価する。 その結果,AMD Spartan-7では1回の推論で0.033mJ,ミリ秒レイテンシでは0.033mJ,Lattice iCE40ではデプロイ実現可能性について考察した。 すべてのソースコードはGitHubリポジトリ(https://github.com/Edwina1030/TinyTransformer4TS)でリリースされる。

関連論文リスト

• Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
  視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。 ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
  論文  参考訳（メタデータ） (2024-07-25T16:35:46Z)
• Integer-only Quantized Transformers for Embedded FPGA-based Time-series Forecasting in AIoT [19.835810073852244]
  本稿では,AIoTシステムにおけるデバイス上の時系列予測に最適化されたTransformers用ハードウェアアクセラレータの設計について述べる。 整数のみの量子化と量子化対応トレーニングと最適化ハードウェア設計を統合し、6ビットおよび4ビットの量子化トランスフォーマーモデルを実現する。 関連する研究で8ビット量子トランスモデルと比較すると、我々の4ビット量子トランスモデルはテスト損失をわずか0.63%増加させ、最大132.33倍速く動作し、48.19倍のエネルギーを消費する。
  論文  参考訳（メタデータ） (2024-07-06T15:03:40Z)
• MCUFormer: Deploying Vision Transformers on Microcontrollers with Limited Memory [76.02294791513552]
  我々はMCUFormerと呼ばれるハードウェア・アルゴリズムの協調最適化手法を提案し、メモリが極端に制限されたマイクロコントローラにビジョントランスフォーマーを配置する。 MCUFormerは320KBのメモリを持つ画像分類のためのImageNet上で73.62%のTop-1精度を実現している。
  論文  参考訳（メタデータ） (2023-10-25T18:00:26Z)
• LL-GNN: Low Latency Graph Neural Networks on FPGAs for High Energy Physics [45.666822327616046]
  本研究は,粒子検出器のための低グラフニューラルネットワーク(LL-GNN)設計のための新しい再構成可能なアーキテクチャを提案する。 LL-GNNの設計は、洗練されたアルゴリズムが実験データを効率的に処理できるようにすることで、次世代のトリガーシステムを進化させる。
  論文  参考訳（メタデータ） (2022-09-28T12:55:35Z)
• Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization [78.18328503396057]
  コンピュータビジョンタスクにおいて、視覚変換器(ViT)は大幅に精度が向上している。 本研究は,提案した混合スキーム量子化に基づくFPGA対応自動ViT加速フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-10T05:54:46Z)
• VAQF: Fully Automatic Software-hardware Co-design Framework for Low-bit Vision Transformer [121.85581713299918]
  量子化ビジョントランス(ViT)のためのFPGAプラットフォーム上で推論アクセラレータを構築するフレームワークVAQFを提案する。 モデル構造と所望のフレームレートから、VAQFはアクティベーションに必要な量子化精度を自動的に出力する。 FPGA上でのViTアクセラレーションに量子化が組み込まれたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-01-17T20:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。