論文の概要: Adaptive Layer-skipping in Pre-trained LLMs

• arxiv url: http://arxiv.org/abs/2503.23798v1
• Date: Mon, 31 Mar 2025 07:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:13.142074
• Title: Adaptive Layer-skipping in Pre-trained LLMs
• Title（参考訳）: プレトレーニングLDMにおけるアダプティブ・レイヤ・スキッピング
• Authors: Xuan Luo, Weizhi Wang, Xifeng Yan,
• Abstract要約: FlexiDepthはテキスト生成で使用されるTransformerレイヤの数を動的に調整するメソッドである。 プラグインルータとアダプタを組み込むことで、FlexiDepthは大きな言語モデルで適応的なレイヤスキッピングを可能にする。
• 参考スコア（独自算出の注目度）: 27.938188248731038
• License:
• Abstract: Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.
• Abstract（参考訳）: 大規模言語モデル(LLM)において,トークン生成を高速化する様々なレイヤスキッピング手法が提案されている。 しかし、彼らは根本的な問題を見落としている: 異なるトークンの世代でどのように計算要求が変化するか? 本稿では,テキスト生成に使用するトランスフォーマー層数を動的に調整するFlexiDepthを紹介する。 プラグインルータとアダプタを組み込むことで、FlexiDepthは、元のパラメータを変更することなく、LLMで適応的なレイヤスキップを可能にする。 FlexiDepthをLlama-3-8Bモデルに導入すると、32から8層までのレイヤスキップが達成され、一方、100%ベンチマークのパフォーマンスが維持される。 FlexiDepthによる実験の結果、LLMの計算要求はトークンタイプによって大きく異なることが示された。 具体的には、繰り返しトークンや固定されたフレーズを生成するには、より少ないレイヤが必要であり、一方、計算や高い不確実性を含むトークンを生成するには、より多くのレイヤが必要である。 興味深いことに、この適応的なアロケーションパターンは人間の直感と一致している。 この領域の研究を進めるために、私たちはFlexiDepthとFlexiDepthの層配置パターンを文書化したデータセットをオープンソース化しました。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,LLM推論を品質を損なうことなく高速化するためのパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 実験により,SWIFTは生成したテキストの元の分布を保ちながら,1.3x-1.6x以上の高速化を実現することができることを示した。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• Flextron: Many-in-One Flexible Large Language Model [85.93260172698398]
  我々は,フレキシブルモデル展開をサポートするネットワークアーキテクチャとポストトレーニングモデル最適化フレームワークであるFlextronを紹介する。 本稿では,既存の学習用LDMをFlextronモデルに変換するための,サンプル効率のよいトレーニング手法と関連するルーティングアルゴリズムを提案する。 我々は、複数のエンドツーエンドトレーニングされた変種や他の最先端の弾性ネットワークよりも優れた性能を示し、これらは全て、オリジナルの事前訓練と比較してわずか7.63%のトークンを消費する単一の事前訓練ランで実現している。
  論文  参考訳（メタデータ） (2024-06-11T01:16:10Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Mixture-of-Depths: Dynamically allocating compute in transformer-based language models [8.774705201394916]
  トランスフォーマーベースの言語モデルは、FLOPを入力シーケンスに均一に展開した。 変換器はシーケンス内の特定の位置にFLOPを動的に割り当てることが可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-02T19:28:11Z)
• Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models [54.72004797421481]
  コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。 以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。 その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T06:27:33Z)
• Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
  トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。 従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
  論文  参考訳（メタデータ） (2021-04-08T08:21:59Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。