Fugu-MT 論文翻訳(概要): Latency Adjustable Transformer Encoder for Language Understanding

論文の概要: Latency Adjustable Transformer Encoder for Language Understanding

arxiv url: http://arxiv.org/abs/2201.03327v8
Date: Mon, 3 Jun 2024 14:12:10 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 07:04:28.740347
Title: Latency Adjustable Transformer Encoder for Language Understanding
Title（参考訳）: 言語理解のためのレイテンシ適応型トランスフォーマーエンコーダ
Authors: Sajjad Kachuee, Mohammad Sharifkhani,
Abstract要約: 本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。
参考スコア（独自算出の注目度）: 0.8287206589886879
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adjusting the latency, power, and accuracy of natural language understanding models is a desirable objective of an efficient architecture. This paper proposes an efficient Transformer architecture that adjusts the inference computational cost adaptively with a desired inference latency speedup. In fine-tuning phase, the proposed method detects less important hidden sequence elements (word-vectors) and eliminates them in each encoder layer using a proposed Attention Context Contribution (ACC) metric. After the fine-tuning phase, with the novel offline-tuning property, the inference latency of the model can be adjusted in a wide range of inference speedup selections without any further training. The proposed method is applied to the BERT_base, GPT-2 and Flan-T5 models for evaluation. Extensive experiments show that most of the word-vectors in higher Transformer layers have less contribution to the subsequent layers; hence, they can be eliminated to improve the inference latency. Experimental results on extensive sentiment analysis, classification, text generation tasks and regression benchmarks like GLUE showed that the method is effective in various datasets with minimal impact on the input's global context. The method was also evaluated under the instruction tuning paradigm, and its performance was measured using different types of prompting. The proposed method mathematically and experimentally improves the inference latency of BERT_base and GPT-2 by up to 4.8 and 3.72 times with less than 0.75% accuracy drop and passable perplexity on average. The suggested approach posits that in Large Language Models (LLMs), although the complete network is necessary for training, it can be truncated during the fine-tuning phase.
Abstract（参考訳）: 自然言語理解モデルのレイテンシ、パワー、精度を調整することは、効率的なアーキテクチャの望ましい目的である。本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。微調整フェーズにおいて、提案手法は、重要でない隠れシーケンス要素(ワードベクター)を検出し、提案したAttention Context Contribution (ACC) メトリックを用いて、各エンコーダ層でそれらを除去する。ファインチューニングフェーズの後、新しいオフラインチューニング特性により、モデルの推論遅延を、それ以上のトレーニングをすることなく、広範囲の推論スピードアップ選択で調整することができる。提案手法をBERT_base, GPT-2, Flan-T5モデルに適用して評価を行った。大規模な実験では、高いトランスフォーマー層におけるワードベクタの大部分が、その後のレイヤへの寄与が少ないことが示されており、推論遅延を改善するためにそれらを取り除くことができる。 GLUEのような大規模な感情分析、分類、テキスト生成タスク、回帰ベンチマークによる実験の結果、この手法は入力のグローバルな文脈に最小限の影響を与えることなく、様々なデータセットに有効であることが示された。また,本手法を指導指導パラダイムで評価し,異なる種類のプロンプトを用いて評価した。提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。提案するアプローチは、Large Language Models (LLMs) において、トレーニングには完全なネットワークが必要であるが、微調整フェーズで切り離すことができることを示唆している。

論文の概要: Latency Adjustable Transformer Encoder for Language Understanding

関連論文リスト