論文の概要: What Matters in Transformers? Not All Attention is Needed

• arxiv url: http://arxiv.org/abs/2406.15786v6
• Date: Thu, 17 Oct 2024 02:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:17:32.851216
• Title: What Matters in Transformers? Not All Attention is Needed
• Title（参考訳）: トランスフォーマーには何があるのか? すべての注意が必要なわけではない
• Authors: Shwai He, Guoheng Sun, Zheyu Shen, Ang Li,
• Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)は、様々なタスクで有望なパフォーマンスを示している。 また、冗長なアーキテクチャを導入し、現実世界のデプロイメントに効率上の課題を提起する。 我々は、類似度に基づくメトリクスを用いて、ブロック、アテンション層を含むトランスフォーマー内の異なるモジュール間の冗長性を調べる。
• 参考スコア（独自算出の注目度）: 7.857824255138334
• License:
• Abstract: While scaling Transformer-based large language models (LLMs) has demonstrated promising performance across various tasks, it also introduces redundant architectures, posing efficiency challenges for real-world deployment. Despite some recognition of redundancy in LLMs, the variability of redundancy across different architectures in transformers, such as MLP and Attention layers, is under-explored. In this work, we investigate redundancy across different modules within Transformers, including Blocks, MLP, and Attention layers, using a similarity-based metric. Surprisingly, despite the critical role of attention layers in distinguishing transformers from other architectures, we found that a large portion of these layers exhibit excessively high similarity and can be pruned without degrading performance. For instance, Llama-2-70B achieved a 48.4\% speedup with only a 2.4\% performance drop by pruning half of the attention layers. Furthermore, by tracing model checkpoints throughout the training process, we observed that attention layer redundancy is inherent and consistent across training stages. Additionally, we further propose a method that jointly drops Attention and MLP layers, allowing us to more aggressively drop additional layers. For instance, when dropping 31 layers (Attention + MLP), Llama-2-13B still retains 90\% of the performance on the MMLU task. Our work provides valuable insights for future network architecture design. The code is released at: \url{https://github.com/Shwai-He/LLM-Drop}.
• Abstract（参考訳）: Transformerベースの大規模言語モデル(LLM)のスケーリングは、さまざまなタスクにわたって有望なパフォーマンスを示す一方で、冗長アーキテクチャを導入し、現実のデプロイメントにおいて効率上の課題を提起している。 LLMの冗長性はある程度認識されているが、MLPやアテンション層などのトランスフォーマーにおける異なるアーキテクチャ間の冗長性の変動は、未調査である。 本研究では、類似度に基づくメトリクスを用いて、ブロック、MLP、アテンション層を含むトランスフォーマー内の異なるモジュール間の冗長性について検討する。 驚くべきことに、他のアーキテクチャとトランスフォーマーを区別する上で注意層が重要な役割を担っているにもかかわらず、これらの層の大部分は過剰に高い類似性を示し、性能を低下させることなく刈り取ることができることがわかった。 例えば、Llama-2-70Bは48.4\%のスピードアップを達成し、注目層の半分を刈り取ることで2.4\%のパフォーマンス低下を達成した。 さらに、トレーニングプロセス全体を通してモデルチェックポイントをトレースすることにより、注意層冗長性はトレーニング段階で本質的に、一貫性があることがわかった。 さらに,アテンション層とMLP層を共同でドロップし,付加層をより積極的にドロップする手法を提案する。 例えば、31のレイヤ(Attention + MLP)をドロップする場合、Llama-2-13BはMMLUタスクのパフォーマンスの90%を保持します。 私たちの研究は、将来のネットワークアーキテクチャ設計に貴重な洞察を与えます。 コードは: \url{https://github.com/Shwai-He/LLM-Drop} でリリースされる。

関連論文リスト

• Value Residual Learning For Alleviating Attention Concentration In Transformers [14.898656879574622]
  複数の注意層を積み重ねると 注意集中につながる この問題に対処する自然な方法の1つは、レイヤ横断の注意を使うことで、以前のレイヤからの情報を後続のレイヤに直接アクセス可能にすることである。 本稿では,第1層の値から第1層の値への残差接続を付加することにより,層間注意を近似する残差値(ResFormer)の変換器を提案する。
  論文  参考訳（メタデータ） (2024-10-23T14:15:07Z)
• How Lightweight Can A Vision Transformer Be [0.0]
  我々は、Mixture-of-Experts (MoE) を用いて、拡張された視覚変換器ではなく、合理化を行う戦略を探求する。 MoE層の各専門家はSwiGLUフィードフォワードネットワークであり、VとW2は層間で共有される。 アーキテクチャは0.67Mのパラメータでも競合することがわかった。
  論文  参考訳（メタデータ） (2024-07-25T05:23:20Z)
• Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models [14.957045047543405]
  ドライパー注意層を落とせば、性能はわずかに低下するが、最高のスピードアップにつながる。 また、後者の層以外の層をスキップすることは、注意層をスキップする以外は、より多くの層をスキップする性能を低下させる。
  論文  参考訳（メタデータ） (2024-07-22T10:09:05Z)
• Transformer Layers as Painters [16.43731831488477]
  事前学習したトランスの下位層と最終層は中間層と異なるが,中間層は驚くほど均一であることを示す。 また、いくつかの問題のクラスは、レイヤのスキップ、レイヤのトレーニング方法と異なる順序での実行、レイヤの並列実行に対して堅牢性が必要であることも示しています。 我々の観察では、凍結した事前学習モデルでさえ、レイヤをスキップしたり、並列にレイヤを走らせることで、遅延の正確さを優雅に交換できる可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-07-12T14:31:05Z)
• FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
  FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
  論文  参考訳（メタデータ） (2024-05-28T14:21:15Z)
• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
  我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。 ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。 実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T14:59:31Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。