論文の概要: When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models

• arxiv url: http://arxiv.org/abs/2404.08634v3
• Date: Sun, 08 Jun 2025 09:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:08.326782
• Title: When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models
• Title（参考訳）: 注意の崩壊: LLMにおける退化層はどのようにしてより小さく、より強いモデルを可能にするか
• Authors: Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi,
• Abstract要約: Inherituneは、より小さく、より効率的な言語モデルを構築するための、シンプルで効果的なトレーニングレシピである。 Inherituneのトレーニングしたモデルは、レイヤーが大幅に少ないにもかかわらず、より大きなモデルにマッチしたり、性能を上回ります。
• 参考スコア（独自算出の注目度）: 61.363259848264725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) rely on the transformer architecture and its self-attention mechanism to deliver strong performance across tasks. However, we uncover a structural inefficiency in standard pre-trained decoder-style LLMs: in many of the deeper layers, attention matrices frequently collapse to near rank-one, single-column patterns. We refer to these underutilized components as lazy layers, which are redundant and computationally inefficient. To address this, we propose Inheritune, a simple and effective training recipe for building smaller, more efficient, and high performing language models. Inheritune initializes a compact model by inheriting the useful early layers from a larger pre-trained model, then progressively retrains and expands it. Our experiments across multiple models and datasets show that Inheritune trained models, despite having significantly fewer layers, can match or even outperform their larger counterparts. This approach yields compact, performant models and offers a practical path for efficient language model compression. Code is available at https://github.com/sanyalsunny111/LLM-Inheritune
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスク間で強力なパフォーマンスを実現するためのトランスフォーマーアーキテクチャと自己認識機構に依存している。 しかし,多くの層では,注目行列がほぼ一階に近い単一カラムパターンに崩壊することがある。 これらの未使用のコンポーネントを遅延層と呼び、冗長で計算的に非効率である。 そこで本研究では,より小さく,より効率的に,高性能な言語モデルを構築するための,シンプルで効果的なトレーニングレシピであるInherituneを提案する。 Inherituneは、より大きな事前訓練されたモデルから有用な初期層を継承し、徐々に再訓練し、拡張することによって、コンパクトモデルを初期化する。 複数のモデルとデータセットにわたる実験の結果、Inherituneのトレーニングしたモデルは、レイヤーが大幅に少ないにもかかわらず、より大きなモデルにマッチしたり、性能を上回ったりできることがわかった。 このアプローチはコンパクトで高性能なモデルをもたらし、効率的な言語モデル圧縮のための実践的なパスを提供する。 コードはhttps://github.com/sanyalsunny111/LLM-Inherituneで公開されている。

関連論文リスト

• Evolving Subnetwork Training for Large Language Models [19.54861230097017]
  我々は、新しいトレーニングパラダイム、Evolving Subnetwork Training (EST)を提案する。 ESTサンプルは、大きな言語モデルのレイヤから、そして各レイヤで一般的に使用されるモジュールから作成される。 GPT2モデルのトレーニングとTinyLlamaモデルのトレーニングにESTを適用した結果,GPT2の26.7%のFLOPとTinyLlamaの25.0%の削減を実現した。
  論文  参考訳（メタデータ） (2024-06-11T05:44:56Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training [2.4862527485819186]
  多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。 MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。 モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
  論文  参考訳（メタデータ） (2023-09-27T09:32:10Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• LV-BERT: Exploiting Layer Variety for BERT [85.27287501885807]
  我々は,事前学習モデルに有益である層型集合に畳み込みを導入する。 次に、事前学習による進化的アルゴリズムを採用し、最適なアーキテクチャを求める。 提案手法により得られたLV-BERTモデルは,様々な下流タスクにおいてBERTとその変種より優れる。
  論文  参考訳（メタデータ） (2021-06-22T13:20:14Z)
• Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
  複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。 その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T02:47:40Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。