論文の概要: Latency Adjustable Transformer Encoder for Language Understanding
- arxiv url: http://arxiv.org/abs/2201.03327v7
- Date: Wed, 20 Dec 2023 17:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 19:34:34.013705
- Title: Latency Adjustable Transformer Encoder for Language Understanding
- Title（参考訳）: 言語理解のための遅延調整型トランスエンコーダ
- Authors: Sajjad Kachuee, Mohammad Sharifkhani
- Abstract要約: 本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。
提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。
提案手法は,BERTベースとGPT-2の推論遅延を最大4.8倍,3.72倍に改善し,0.75%の精度低下と平均パープレキシティが得られた。
- 参考スコア（独自算出の注目度）: 0.9790236766474201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adjusting the latency, power, and accuracy of natural language understanding
models is a desirable objective of an efficient architecture. This paper
proposes an efficient Transformer architecture that adjusts the inference
computational cost adaptively with a desired inference latency speedup. In
fine-tuning phase, the proposed method detects less important hidden sequence
elements (word-vectors) and eliminates them in each encoder layer using a
proposed Attention Context Contribution (ACC) metric. After the fine-tuning
phase, with the novel offline-tuning property, the inference latency of the
model can be adjusted in a wide range of inference speedup selections without
any further training. The proposed method is applied to the BERT-base and GPT-2
models for evaluation. Extensive experiments show that most of the word-vectors
in higher Transformer layers have less contribution to the subsequent layers;
hence, they can be eliminated to improve the inference latency. Experimental
results on extensive sentiment analysis, classification, text generation tasks
and regression benchmarks like GLUE showed that the method is effective in
various datasets with minimal impact on global context. The proposed method
mathematically and experimentally improves the inference latency of BERT-base
and GPT-2 by up to 4.8 and 3.72 times with less than 0.75% accuracy drop and
passable perplexity on average. The suggested approach posits that in Large
Language Models (LLMs), although the complete network is necessary for
training, it can be truncated during the fine-tuning phase.
- Abstract（参考訳）: 自然言語理解モデルのレイテンシ、パワー、精度を調整することは、効率的なアーキテクチャの望ましい目的である。
本稿では,計算コストを所望の推論遅延速度で適応的に調整する効率的なトランスフォーマアーキテクチャを提案する。
提案手法では, 注意コンテキスト寄与(acc)メトリックを用いて, 重要でない隠れ配列要素(ワードベクトル)を検出し, エンコーダ層毎に除去する。
ファインチューニングフェーズの後、新しいオフラインチューニング特性により、モデルの推論遅延を、さらなるトレーニングなしで広範囲の推論スピードアップ選択で調整することができる。
提案手法をBERTベースモデルとGPT-2モデルに適用して評価を行った。
広範な実験により、より高いトランスフォーマ層にあるワードベクトルのほとんどがその後の層への寄与が少ないことが示され、推論遅延を改善するために取り除くことができる。
GLUEのような広範囲な感情分析,分類,テキスト生成タスク,回帰ベンチマークによる実験結果から,グローバルな文脈への影響を最小限に抑えた様々なデータセットに有効であることが示された。
提案手法は, bert-base と gpt-2 の推論遅延を最大 4.8 倍, 3.72 倍に改善し, 平均0.75% の精度低下, パッシブル・パープレキシティ (passable perplexity) が得られた。
提案手法では,大規模言語モデル (llms) では,トレーニングには完全なネットワークが必要であるが,微調整フェーズでは停止できることを示す。
関連論文リスト
- ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - BEExformer: A Fast Inferencing Transformer Architecture via Binarization with Multiple Early Exits [2.7651063843287718]
トランスフォーマーに基づく大規模言語モデル(LLM)は、様々なアプリケーションで最先端の結果を得る。
様々な効率の考慮事項の中で、モデルバイナライゼーションとEarly Exit(EE)は一般的な有効解である。
本稿では,最初の選択型学習変圧器アーキテクチャであるBinarized Early Exit Transformer (BEExformer)を提案する。
論文 参考訳（メタデータ） (2024-12-06T17:58:14Z) - FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [11.146015814220858]
本稿では、層固有のルータを用いて、各入力シーケンスに対して適応的に変換器層のサブセットを選択することでレイテンシを低減するアルゴリズムであるFiRSTを提案する。
FiRSTは品質を認識しながら高速な推論を可能にするKVキャッシュとの互換性を維持する。
私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
論文 参考訳（メタデータ） (2024-10-16T12:45:35Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z) - Optimization-Free Test-Time Adaptation for Cross-Person Activity
Recognition [30.350005654271868]
Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。
計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。
センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-28T02:20:33Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳（メタデータ） (2023-06-27T05:43:47Z) - Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。
勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。
我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2022-12-16T11:15:39Z) - Learning Quantization in LDPC Decoders [14.37550972719183]
均一雑音の付加として量子化効果を模倣する浮動小数点代理モデルを提案する。
次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。
平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号の0.2dB以内の誤り率性能を報告する。
論文 参考訳（メタデータ） (2022-08-10T07:07:54Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。