Fugu-MT 論文翻訳(概要): Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models

論文の概要: Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models

arxiv url: http://arxiv.org/abs/2407.15516v1
Date: Mon, 22 Jul 2024 10:09:05 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 15:21:11.562654
Title: Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models
Title（参考訳）: 大規模言語モデルの推論には注意が必要だが、全てを必要としない
Authors: Georgy Tyukin, Gbetondji J-S Dovonon, Jean Kaddour, Pasquale Minervini,
Abstract要約: ドライパー注意層を落とせば、性能はわずかに低下するが、最高のスピードアップにつながる。また、後者の層以外の層をスキップすることは、注意層をスキップする以外は、より多くの層をスキップする性能を低下させる。
参考スコア（独自算出の注目度）: 14.957045047543405
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The inference demand for LLMs has skyrocketed in recent months, and serving models with low latencies remains challenging due to the quadratic input length complexity of the attention layers. In this work, we investigate the effect of dropping MLP and attention layers at inference time on the performance of Llama-v2 models. We find that dropping dreeper attention layers only marginally decreases performance but leads to the best speedups alongside dropping entire layers. For example, removing 33\% of attention layers in a 13B Llama2 model results in a 1.8\% drop in average performance over the OpenLLM benchmark. We also observe that skipping layers except the latter layers reduces performances for more layers skipped, except for skipping the attention layers.
Abstract（参考訳）: LLMの需要は近年急増しており、注目層の2次入力長の複雑さのため、低レイテンシのサービスモデルは依然として困難である。本研究は,Llama-v2モデルの性能に及ぼすMLPとアテンション層の影響について検討する。ドライパー・アテンション・レイヤのドロップはパフォーマンスをわずかに低下させるが、すべてのレイヤのドロップと同時に最高のスピードアップにつながる。例えば、13B Llama2モデルで33\%の注意層を削除すると、OpenLLMベンチマークの平均パフォーマンスは1.8\%低下する。また、後者の層以外の層をスキップすることは、注意層をスキップする以外は、より多くの層をスキップする性能を低下させる。

関連論文リスト

Reassessing Layer Pruning in LLMs: New Insights and Methods [24.394438652261982]
単純なアプローチ、すなわち、最後の25%のレイヤをプルーニングし、その後にtextttlm_headと残りの3つのレイヤを微調整することで、非常に高いパフォーマンスが得られることを示す。私たちはHfaceで最適なモデルウェイトをリリースし、コードはGitHubで入手できる。
論文参考訳（メタデータ） (2024-11-23T13:31:16Z)
Llama SLayer 8B: Shallow Layers Hold the Key to Knowledge Injection [73.06596715100859]
知識注入のための最適層範囲の探索における各層の重要性について検討する。本研究では,浅層を選択的に強化し,有効でない深層を刈り取るための事前学習戦略であるS戦略を提案する。この戦略に基づき,Llama Slayer-8BとLlama Slayer-8B-Instructを導入する。
論文参考訳（メタデータ） (2024-10-03T09:28:59Z)
Investigating Layer Importance in Large Language Models [28.156622049937216]
大規模言語モデル (LLM) は、テキストの理解と処理に際し、注目を集めている。 LLMの理解の欠如は、安全クリティカルなシナリオへの展開を妨げ、より良いモデルの開発を妨げる。本研究は, LLMの基盤層を同定し, 今後の研究におけるその重要な役割を浮き彫りにする。
論文参考訳（メタデータ） (2024-09-22T09:53:13Z)
Cross-layer Attention Sharing for Large Language Models [44.53618643180393]
LiSAは、十分に訓練された大規模言語モデルにおける自己注意の軽量な代替品である。 LLaMA3-8Bでは最大スループットが19.5%、LLaMA2-7Bでは32.3%向上した。
論文参考訳（メタデータ） (2024-08-04T00:38:34Z)
What Matters in Transformers? Not All Attention is Needed [7.857824255138334]
トランスフォーマーベースの大規模言語モデル(LLM)は、様々なタスクで有望なパフォーマンスを示している。また、冗長なアーキテクチャを導入し、現実世界のデプロイメントに効率上の課題を提起する。我々は、類似度に基づくメトリクスを用いて、ブロック、アテンション層を含むトランスフォーマー内の異なるモジュール間の冗長性を調べる。
論文参考訳（メタデータ） (2024-06-22T08:41:48Z)
OwLore: Outlier-weighed Layerwise Sampled Low-Rank Projection for Memory-Efficient LLM Fine-tuning [18.102930806071978]
Outlier-weighed Layerwise Smpled Low-Rank Projection (OwLore) はメモリ効率の良い微調整手法である。 OwLoreは、完全な微調整を含むベースラインアプローチを一貫して上回る。
論文参考訳（メタデータ） (2024-05-28T17:22:22Z)
FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
論文参考訳（メタデータ） (2024-05-28T14:21:15Z)
An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
論文参考訳（メタデータ） (2024-03-11T14:35:32Z)
Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
論文参考訳（メタデータ） (2024-03-04T16:23:58Z)
Layer Grafted Pre-training: Bridging Contrastive Learning And Masked Image Modeling For Label-Efficient Representations [130.05189514598996]
Mask Image Modeling (MIM) と Contrastive Learning (CL) は、自己超越が優れた表現を学ぶのに強力であることを示した。本稿では,CLとMIMの損失の簡易な共同最適化が,矛盾する勾配方向を導いた経験的観察を行う。実験により,MIMとCLは下層と上層にそれぞれ適していることがわかった。初期のレイヤはまず1つのMIM損失の下でトレーニングされ、その上に、後者のレイヤは別のCL損失の下でトレーニングされ続けます。
論文参考訳（メタデータ） (2023-02-27T20:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。