論文の概要: A Cost-Efficient FPGA Implementation of Tiny Transformer Model using
Neural ODE
- arxiv url: http://arxiv.org/abs/2401.02721v1
- Date: Fri, 5 Jan 2024 09:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:31:39.246281
- Title: A Cost-Efficient FPGA Implementation of Tiny Transformer Model using
Neural ODE
- Title（参考訳）: ニューラルネットワークを用いたTiny Transformerモデルの低コストFPGA実装
- Authors: Ikumi Okubo, Keisuke Sugiura, Hiroki Matsutani
- Abstract要約: Transformerは、アテンションメカニズムを備えた新興ニューラルネットワークモデルである。
提案したハイブリッドモデルでは,CNNベースのモデルと比較してパラメータサイズを94.6%削減する。
この実装はARM Cortex-A53 CPUと比較して12.8倍のスピードアップと9.21倍のエネルギー効率を実現している。
- 参考スコア（独自算出の注目度）: 0.9444784653236158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer is an emerging neural network model with attention mechanism. It
has been adopted to various tasks and achieved a favorable accuracy compared to
CNNs and RNNs. While the attention mechanism is recognized as a general-purpose
component, many of the Transformer models require a significant number of
parameters compared to the CNN-based ones. To mitigate the computational
complexity, recently, a hybrid approach has been proposed, which uses ResNet as
a backbone architecture and replaces a part of its convolution layers with an
MHSA (Multi-Head Self-Attention) mechanism. In this paper, we significantly
reduce the parameter size of such models by using Neural ODE (Ordinary
Differential Equation) as a backbone architecture instead of ResNet. The
proposed hybrid model reduces the parameter size by 94.6% compared to the
CNN-based ones without degrading the accuracy. We then deploy the proposed
model on a modest-sized FPGA device for edge computing. To further reduce FPGA
resource utilization, we quantize the model following QAT (Quantization Aware
Training) scheme instead of PTQ (Post Training Quantization) to suppress the
accuracy loss. As a result, an extremely lightweight Transformer-based model
can be implemented on resource-limited FPGAs. The weights of the feature
extraction network are stored on-chip to minimize the memory transfer overhead,
allowing faster inference. By eliminating the overhead of memory transfers,
inference can be executed seamlessly, leading to accelerated inference. The
proposed FPGA implementation achieves 12.8x speedup and 9.21x energy efficiency
compared to ARM Cortex-A53 CPU.
- Abstract（参考訳）: Transformerは、注目メカニズムを備えた新興ニューラルネットワークモデルである。
様々なタスクに採用され、CNNやRNNに比べて精度が良い。
アテンション機構は汎用コンポーネントとして認識されているが、多くのトランスフォーマーモデルはcnnベースのものに比べてかなりの数のパラメータを必要とする。
計算複雑性を軽減するため、最近ではResNetをバックボーンアーキテクチャとして使用し、その畳み込み層の一部をMHSA(Multi-Head Self-Attention)メカニズムで置き換えるハイブリッドアプローチが提案されている。
本稿では,resnetではなく,バックボーンアーキテクチャとしてneural ode(ordinary differential equation)を用いることで,これらのモデルのパラメータサイズを大幅に削減する。
提案するハイブリッドモデルは,精度を低下させることなくパラメータサイズを94.6%削減する。
次に、エッジコンピューティングのための控えめなサイズFPGAデバイスに提案したモデルをデプロイする。
FPGAリソースの利用をさらに削減するため、PTQ(Post Training Quantization)の代わりにQAT(Quantization Aware Training)スキームに基づくモデルを定量化し、精度損失を抑制する。
その結果、リソース限定FPGA上で非常に軽量なTransformerベースのモデルを実現することができる。
特徴抽出ネットワークの重みはチップ上に格納され、メモリ転送オーバーヘッドを最小限に抑え、高速な推論を可能にする。
メモリ転送のオーバーヘッドをなくすことで、推論をシームレスに実行できるため、推論が加速される。
提案したFPGA実装はARM Cortex-A53 CPUと比較して12.8倍の高速化と9.21倍のエネルギー効率を実現している。
関連論文リスト
- PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。
本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。
我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
論文 参考訳（メタデータ） (2024-11-26T04:49:42Z) - Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging [3.502427552446068]
ディープラーニングモデルはリアルタイム推論を可能にするが、複雑なアーキテクチャと大規模な行列演算のために計算的に要求される。
これにより、フィールドプログラマブルゲートアレイ(FPGA)ベースのカメラハードウェアの直接実装に不適なDLモデルが得られる。
本研究では,FLI時系列データ処理に適したリカレントニューラルネットワーク(RNN)の圧縮に着目し,資源制約付きFPGAボードへの展開を実現する。
論文 参考訳（メタデータ） (2024-10-01T17:23:26Z) - FAMOUS: Flexible Accelerator for the Attention Mechanism of Transformer on UltraScale+ FPGAs [0.0]
Transformer Neural Network(TNN)は、自然言語処理(NLP)、機械翻訳、コンピュータビジョン(CV)など、幅広いアプリケーション領域に応用されている。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)上でのTNNの重み付きマルチヘッドアテンション計算のためのフレキシブルハードウェアアクセラレータである textitFamous を提案する。
並列性を改善し、レイテンシを低減するために、処理要素とオンチップメモリの高利用に最適化されている。
論文 参考訳（メタデータ） (2024-09-21T05:25:46Z) - Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳（メタデータ） (2024-07-25T16:35:46Z) - Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget [53.311109531586844]
大規模T2I拡散変圧器モデルの低コスト化を実証する。
我々は16億のパラメータスパーストランスをわずか1890ドルの経済的コストで訓練し、ゼロショット世代で12.7 FIDを達成する。
我々は、マイクロ予算での大規模拡散モデルのトレーニングをさらに民主化するために、エンドツーエンドのトレーニングパイプラインをリリースすることを目指している。
論文 参考訳（メタデータ） (2024-07-22T17:23:28Z) - LIPT: Latency-aware Image Processing Transformer [17.802838753201385]
LIPTと呼ばれる遅延対応画像処理変換器を提案する。
我々は、メモリ集約演算子の代わりに自己注意と畳み込みを組み合わせた低レイテンシ比LIPTブロックを考案し、実用的な高速化を実現する。
論文 参考訳（メタデータ） (2024-04-09T07:25:30Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Accurate, Low-latency, Efficient SAR Automatic Target Recognition on
FPGA [3.251765107970636]
合成開口レーダ(SAR)自動目標認識(ATR)はリモートセンシング画像認識の鍵となる技術である。
SAR ATRのための最先端の畳み込みニューラルネットワーク(CNN)は、エンハンハイ計算コストとエンハンラージメモリフットプリントに悩まされている。
本稿では,これらの問題に対処するため,FPGA 上でモデルアーキテクチャを包括的に設計する手法を提案する。
論文 参考訳（メタデータ） (2023-01-04T05:35:30Z) - Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた
ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。
SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
論文 参考訳（メタデータ） (2022-03-16T20:10:41Z) - Improved Transformer for High-Resolution GANs [69.42469272015481]
この課題に対処するために、Transformerに2つの重要な要素を紹介します。
実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
論文 参考訳（メタデータ） (2021-06-14T17:39:49Z) - FTRANS: Energy-Efficient Acceleration of Transformers using FPGA [11.032972017827248]
本稿では,変換器をベースとした大規模言語表現のための高速化フレームワークFtransを提案する。
本フレームワークは,NLPモデルのモデルサイズを最大16倍に削減する。
FPGA設計は、CPUと比較して27.07倍、81倍の性能向上とエネルギー効率の向上を実現し、GPUと比較して最大8.80倍のエネルギー効率向上を実現している。
論文 参考訳（メタデータ） (2020-07-16T18:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。