論文の概要: Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices

• arxiv url: http://arxiv.org/abs/2306.11426v1
• Date: Tue, 20 Jun 2023 10:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 14:53:32.277124
• Title: Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices
• Title（参考訳）: 携帯端末におけるNLP用変圧器モデルの性能と効率の探索
• Authors: Ioannis Panopoulos, Sokratis Nikolaidis, Stylianos I. Venieris, Iakovos S. Venieris
• Abstract要約: 新しいディープニューラルネットワーク(DNN)アーキテクチャとアプローチが数年毎に登場し、この分野の進歩が加速している。 トランスフォーマーは、AIタスク全体で新しいレベルの精度を達成した比較的新しいモデルファミリである。 この作業は、Transformersのオンデバイス実行の現在の状態を調べて、このギャップを埋めることを目的としている。
• 参考スコア（独自算出の注目度）: 3.809702129519641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) is characterised by its dynamic nature, with new deep neural network (DNN) architectures and approaches emerging every few years, driving the field's advancement. At the same time, the ever-increasing use of mobile devices (MDs) has resulted in a surge of DNN-based mobile applications. Although traditional architectures, like CNNs and RNNs, have been successfully integrated into MDs, this is not the case for Transformers, a relatively new model family that has achieved new levels of accuracy across AI tasks, but poses significant computational challenges. In this work, we aim to make steps towards bridging this gap by examining the current state of Transformers' on-device execution. To this end, we construct a benchmark of representative models and thoroughly evaluate their performance across MDs with different computational capabilities. Our experimental results show that Transformers are not accelerator-friendly and indicate the need for software and hardware optimisations to achieve efficient deployment.
• Abstract（参考訳）: ディープラーニング(dl)はそのダイナミックな性質によって特徴付けられ、新しいディープニューラルネットワーク(dnn)アーキテクチャとアプローチが数年毎に出現し、この分野の進歩を促している。 それと同時に、モバイルデバイス(MD)の利用が増加し、DNNベースのモバイルアプリケーションが急増している。 cnnやrnnといった従来のアーキテクチャはmdsにうまく統合されているが、aiタスク間で新たなレベルの精度を達成した比較的新しいモデルファミリであるtransformersでは、これは当てはまらない。 本研究では,トランスフォーマーのオンデバイス実行の現状を調べることで,このギャップを埋めるためのステップを構築することを目的とする。 この目的のために,代表モデルのベンチマークを構築し,計算能力の異なるmds間の性能を徹底的に評価する。 実験の結果,トランスフォーマーはアクセルフレンドリではなく,効率的なデプロイメントを実現するためのソフトウェアやハードウェアの最適化の必要性が示された。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• TransAxx: Efficient Transformers with Approximate Computing [4.347898144642257]
  Vision Transformer (ViT) モデルは非常に競争力があり、畳み込みニューラルネットワーク (CNN) の代替として人気がある。 本稿では,PyTorchライブラリをベースとしたフレームワークであるTransAxxを提案する。 提案手法では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,構成可能な空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-02-12T10:16:05Z)
• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Lightweight Transformers for Human Activity Recognition on Mobile Devices [0.5505634045241288]
  モバイルデバイス上でのヒューマンアクティビティ認識(HAR)は、軽量なニューラルモデルで実現可能であることが示されている。 本稿では,HART(Human Activity Recognition Transformer)について述べる。 HARタスクに対するいくつかの公開データセットによる実験により、HARTはFLOPS(FLoating-point Operations Per Second)とパラメータを減らし、現在の最先端結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2022-09-22T09:42:08Z)
• Efficient Sparsely Activated Transformers [0.34410212782758054]
  トランスフォーマーベースのニューラルネットワークは、多くの機械学習ドメインで最先端のタスクパフォーマンスを実現している。 最近の研究は、これらのネットワークへの動的挙動の混合層(mixed-of-expert layer)の形での統合について検討している。 我々は,既存のTransformerベースのネットワークとユーザ定義のレイテンシターゲットを取り入れたPLANERという新しいシステムを導入する。
  論文  参考訳（メタデータ） (2022-08-31T00:44:27Z)
• Exploring Transformers for Behavioural Biometrics: A Case Study in Gait Recognition [0.7874708385247353]
  本稿ではトランスフォーマーに基づく新しい歩行生体認証システムについて検討し,提案する。 実験フレームワークでは、最先端アーキテクチャ(Vanilla、Informer、Autoformer、Block-Recurrent Transformer、THAT)が検討されている。 代表的な2つの公開データベースwuGAITとOU-ISIRを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-06-03T08:08:40Z)
• EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers [88.52500757894119]
  自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。 われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
  論文  参考訳（メタデータ） (2022-05-06T18:17:19Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。