論文の概要: A Survey of Techniques for Optimizing Transformer Inference
- arxiv url: http://arxiv.org/abs/2307.07982v1
- Date: Sun, 16 Jul 2023 08:50:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 16:22:37.935909
- Title: A Survey of Techniques for Optimizing Transformer Inference
- Title（参考訳）: 変圧器推論の最適化手法の検討
- Authors: Krishna Teja Chitty-Venkata, Sparsh Mittal, Murali Emani, Venkatram
Vishwanath, Arun K. Somani
- Abstract要約: 近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に上昇している。
ChatGPTのようなトランスフォーマーベースのネットワークは、一般的な男性の生活に影響を与えている。
研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
- 参考スコア（独自算出の注目度）: 3.6258657276072253
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent years have seen a phenomenal rise in performance and applications of
transformer neural networks. The family of transformer networks, including
Bidirectional Encoder Representations from Transformer (BERT), Generative
Pretrained Transformer (GPT) and Vision Transformer (ViT), have shown their
effectiveness across Natural Language Processing (NLP) and Computer Vision (CV)
domains. Transformer-based networks such as ChatGPT have impacted the lives of
common men. However, the quest for high predictive performance has led to an
exponential increase in transformers' memory and compute footprint. Researchers
have proposed techniques to optimize transformer inference at all levels of
abstraction. This paper presents a comprehensive survey of techniques for
optimizing the inference phase of transformer networks. We survey techniques
such as knowledge distillation, pruning, quantization, neural architecture
search and lightweight network design at the algorithmic level. We further
review hardware-level optimization techniques and the design of novel hardware
accelerators for transformers. We summarize the quantitative results on the
number of parameters/FLOPs and accuracy of several models/techniques to
showcase the tradeoff exercised by them. We also outline future directions in
this rapidly evolving field of research. We believe that this survey will
educate both novice and seasoned researchers and also spark a plethora of
research efforts in this field.
- Abstract（参考訳）: 近年、トランスフォーマーニューラルネットワークの性能と応用が飛躍的に増加している。
The family of transformer network, including bidirectional Encoder Representations from Transformer (BERT), Generative Pretrained Transformer (GPT), Vision Transformer (ViT)は、自然言語処理 (NLP) とコンピュータビジョン (CV) ドメインで有効であることを示した。
chatgptのようなトランスフォーマーベースのネットワークは、庶民の生活に影響を与えている。
しかし、高い予測性能の追求により、トランスフォーマーのメモリと計算フットプリントが指数関数的に増加した。
研究者は、あらゆるレベルの抽象化でトランスフォーマー推論を最適化する手法を提案している。
本稿では,トランスネットワークの推論位相を最適化する手法の包括的調査を行う。
我々は,知識蒸留,プルーニング,量子化,ニューラルアーキテクチャ探索,軽量ネットワーク設計などの手法をアルゴリズムレベルで調査する。
さらに,ハードウェアレベルの最適化手法とトランスフォーマーのための新しいハードウェアアクセラレータの設計について述べる。
パラメータ/FLOPの数といくつかのモデル/テクニックの精度に関する定量的な結果を要約し、それらのトレードオフを示す。
この急速に発展する研究分野における今後の方向性についても概説する。
この調査は、初学者と熟成研究者の両方を教育し、この分野で多くの研究成果を生み出すものと信じている。
関連論文リスト
- On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。
提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
論文 参考訳（メタデータ） (2024-02-21T07:07:54Z) - Transformers in Reinforcement Learning: A Survey [7.622978576824539]
トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。
この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
論文 参考訳（メタデータ） (2023-07-12T07:51:12Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (2023-06-11T23:13:51Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Vision Transformers for Action Recognition: A Survey [41.69370782177517]
コンピュータビジョン問題を解決する強力なツールとして、ビジョントランスフォーマーが登場している。
最近の技術は、多数のビデオ関連タスクを解決するために、画像領域を超えたトランスフォーマーの有効性を証明している。
人間の行動認識は、広く応用されているため、研究コミュニティから特別に注目を集めている。
論文 参考訳（メタデータ） (2022-09-13T02:57:05Z) - Towards Lightweight Transformer via Group-wise Transformation for
Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。
LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。
実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文 参考訳（メタデータ） (2022-04-16T11:30:26Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳（メタデータ） (2020-12-23T09:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。