論文の概要: TinyFormer: Efficient Transformer Design and Deployment on Tiny Devices
- arxiv url: http://arxiv.org/abs/2311.01759v1
- Date: Fri, 3 Nov 2023 07:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:45:14.015572
- Title: TinyFormer: Efficient Transformer Design and Deployment on Tiny Devices
- Title（参考訳）: TinyFormer: 効率的なトランスフォーマー設計とTinyデバイスへのデプロイ
- Authors: Jianlei Yang, Jiacheng Liao, Fanding Lei, Meichen Liu, Junyi Chen,
Lingkun Long, Han Wan, Bei Yu, Weisheng Zhao
- Abstract要約: TinyFormerは、資源効率のよいトランスフォーマーをMCU上で開発、展開するためのフレームワークである。
TinyFormerは主にSuperNAS、SparseNAS、SparseEngineで構成されている。
TinyFormerは16.1%の精度で効率的なトランスフォーマーを開発でき、ハードウェアの制約は1MBのストレージと320ドルKBのメモリである。
- 参考スコア（独自算出の注目度）: 7.529632803434906
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Developing deep learning models on tiny devices (e.g. Microcontroller units,
MCUs) has attracted much attention in various embedded IoT applications.
However, it is challenging to efficiently design and deploy recent advanced
models (e.g. transformers) on tiny devices due to their severe hardware
resource constraints. In this work, we propose TinyFormer, a framework
specifically designed to develop and deploy resource-efficient transformers on
MCUs. TinyFormer mainly consists of SuperNAS, SparseNAS and SparseEngine.
Separately, SuperNAS aims to search for an appropriate supernet from a vast
search space. SparseNAS evaluates the best sparse single-path model including
transformer architecture from the identified supernet. Finally, SparseEngine
efficiently deploys the searched sparse models onto MCUs. To the best of our
knowledge, SparseEngine is the first deployment framework capable of performing
inference of sparse models with transformer on MCUs. Evaluation results on the
CIFAR-10 dataset demonstrate that TinyFormer can develop efficient transformers
with an accuracy of $96.1\%$ while adhering to hardware constraints of $1$MB
storage and $320$KB memory. Additionally, TinyFormer achieves significant
speedups in sparse inference, up to $12.2\times$, when compared to the CMSIS-NN
library. TinyFormer is believed to bring powerful transformers into TinyML
scenarios and greatly expand the scope of deep learning applications.
- Abstract（参考訳）: 小さなデバイス(マイクロコントローラユニット、MCUなど)でのディープラーニングモデルの開発は、様々な組み込みIoTアプリケーションで注目を集めている。
しかし、ハードウェアリソースの厳しい制約のため、最近の高度なモデル(例えばトランスフォーマー)を小さなデバイスで効率的に設計し、デプロイすることは困難である。
本稿では,資源効率の高いトランスフォーマーをMCU上に開発・展開するためのフレームワークであるTinyFormerを提案する。
TinyFormerは主にSuperNAS、SparseNAS、SparseEngineで構成されている。
SuperNASは、巨大な検索空間から適切なスーパーネットを検索することを目的としている。
SparseNASは、識別されたスーパーネットからのトランスフォーマーアーキテクチャを含む、最高のスパースシングルパスモデルを評価する。
最後に、SparseEngineは検索したスパースモデルをMCUに効率的にデプロイする。
私たちの知る限り,sparseengineは,mcu上のtransformerを使用したスパースモデルの推論が可能な,最初のデプロイメントフレームワークです。
CIFAR-10データセットの評価結果は、TinyFormerが1MBのストレージと320$KBのメモリのハードウェア制約に固執しながら、9,6.1$%の精度で効率的なトランスフォーマーを開発できることを示している。
さらに、TinyFormerは、CMSIS-NNライブラリと比較して、スパース推論の大幅な高速化を実現している。
TinyFormerは強力なトランスフォーマーをTinyMLのシナリオに持ち込み、ディープラーニングアプリケーションの範囲を大きく広げると考えられている。
関連論文リスト
- DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning [12.014366791775027]
DTMMは、弱いIoTデバイス上で機械学習モデルの効率的なデプロイと実行のために設計されたライブラリである。
DTMMを設計する動機は、小さな機械学習(TinyML)の新たな分野から来ている。
本稿では, プルーニング単位の選択, 実行前プルーニング最適化, 実行時アクセラレーション, 実行後低コストストレージによるDTMMを提案し, プルーニングモデルの効率的なデプロイと実行のギャップを埋める。
論文 参考訳（メタデータ） (2024-01-17T09:01:50Z) - MCUFormer: Deploying Vision Transformers on Microcontrollers with
Limited Memory [76.02294791513552]
我々はMCUFormerと呼ばれるハードウェア・アルゴリズムの協調最適化手法を提案し、メモリが極端に制限されたマイクロコントローラにビジョントランスフォーマーを配置する。
MCUFormerは320KBのメモリを持つ画像分類のためのImageNet上で73.62%のTop-1精度を実現している。
論文 参考訳（メタデータ） (2023-10-25T18:00:26Z) - TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文 参考訳（メタデータ） (2023-04-11T13:11:10Z) - Reversible Vision Transformers [74.3500977090597]
Reversible Vision Transformersは、視覚認識のためのメモリ効率の良いアーキテクチャである。
我々は2つの人気モデル、すなわちビジョン変換器とマルチスケールビジョン変換器を可逆的変種に適用する。
より深いモデルでは、アクティベーションを再計算する際の計算負荷が過大評価されている。
論文 参考訳（メタデータ） (2023-02-09T18:59:54Z) - TinyViT: Fast Pretraining Distillation for Small Vision Transformers [88.54212027516755]
大規模データセットで事前学習した小型かつ効率的な小型視覚変換器のファミリーであるTinyViTを提案する。
中心となる考え方は、大きな事前訓練されたモデルから小さなモデルに知識を伝達し、小さなモデルが大量の事前訓練されたデータの配当を得ることを可能にすることである。
論文 参考訳（メタデータ） (2022-07-21T17:59:56Z) - AutoFormer: Searching Transformers for Visual Recognition [97.60915598958968]
本稿では,視覚トランスフォーマー検索専用のワンショットアーキテクチャ検索フレームワークであるAutoFormerを提案する。
AutoFormerは、スーパーネットトレーニング中に同じレイヤ内の異なるブロックの重みを絡み合わせる。
我々は、AutoFormer-tiny/small/baseが5.7M/22.9M/53.7Mパラメータを持つImageNetで74.7%/81.7%/82.4%のトップ-1精度を達成したことを示す。
論文 参考訳（メタデータ） (2021-07-01T17:59:30Z) - Escaping the Big Data Paradigm with Compact Transformers [7.697698018200631]
適切なサイズとトークン化によって、トランスフォーマは小さなデータセット上で最先端のcnnで頭対頭で実行できることを初めて示す。
本手法はモデルサイズで柔軟であり,0.28Mのパラメータしか持たず,妥当な結果が得られる。
論文 参考訳（メタデータ） (2021-04-12T17:58:56Z) - $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers [15.517404770022633]
IoTデバイスは、非常にリソースの少ないマイクロコントローラユニット(MCU)によって駆動される。
ニューラルアーキテクチャサーチ(NAS)システム($mu$NAS)を構築し、このような小型のパワーを持つMCUレベルのネットワークの設計を自動化する。
NASは、トップ1の分類精度を最大4.8%向上させるか、(b)メモリフットプリントを4-13x削減するか、(c)乗算累積演算数を少なくとも2倍削減することができる。
論文 参考訳（メタデータ） (2020-10-27T12:42:53Z) - MCUNet: Tiny Deep Learning on IoT Devices [62.752899523628066]
効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。
TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。
TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
論文 参考訳（メタデータ） (2020-07-20T17:59:01Z) - HAT: Hardware-Aware Transformers for Efficient Natural Language
Processing [78.48577649266018]
ハードウェア・アウェア・トランスフォーマー(HAT)は、リソース制約のあるハードウェアプラットフォーム上で低遅延推論を可能にするように設計されている。
設計空間のすべての候補をカバーする$textitSuperTransformer$をトレーニングし、重量共有を備えた$textitSubTransformer$を効率的に生成します。
4つの機械翻訳タスクの実験により、HATは異なるハードウェアの効率的なモデルを見つけることができることを示した。
論文 参考訳（メタデータ） (2020-05-28T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。