論文の概要: Change Is the Only Constant: Dynamic LLM Slicing based on Layer Redundancy

• arxiv url: http://arxiv.org/abs/2411.03513v1
• Date: Tue, 05 Nov 2024 21:19:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:57.546457
• Title: Change Is the Only Constant: Dynamic LLM Slicing based on Layer Redundancy
• Title（参考訳）: 変化は唯一の定数:レイヤ冗長性に基づく動的LCMスライシング
• Authors: Razvan-Gabriel Dumitru, Paul-Ioan Clotan, Vikas Yadav, Darius Peteleaza, Mihai Surdeanu,
• Abstract要約: 本稿では,Large Language Models (LLMs) における動的層特異的プルーニングによる新しいモデル圧縮手法を提案する。 定数から動的スライシングへの移行により,新たに提案したレイヤ冗長性(LR)スコアを活用する。 我々の動的スライシングアプローチは維持されるだけでなく、多くの場合、定常スライシング法によって確立されたベースラインと比較してモデル性能を向上させる。
• 参考スコア（独自算出の注目度）: 19.14439554384161
• License:
• Abstract: This paper introduces a novel model compression approach through dynamic layer-specific pruning in Large Language Models (LLMs), enhancing the traditional methodology established by SliceGPT. By transitioning from constant to dynamic slicing, our method leverages the newly proposed Layer Redundancy (LR) score, which assesses how much change each layer changes its input by measuring the cosine similarity of the input to the output of the layer. We use this score to prune parts of individual layers based on redundancy in such a way that the average pruned percentage for all layers is a fixed value. We conducted extensive experiments using models like Llama3-8B and Mistral-7B on multiple datasets, evaluating different slicing bases and percentages to determine optimal configurations that balance efficiency and performance. Our findings show that our dynamic slicing approach not only maintains but, in many cases, enhances model performance compared to the baseline established by constant slicing methods. For instance, in several settings, we see performance improvements of up to 5% over the SliceGPT baseline. Additionally, a perplexity decrease by as much as 7% was observed across multiple benchmarks, validating the effectiveness of our method. The code, model weights, and datasets are open-sourced at https://github.com/RazvanDu/DynamicSlicing.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における動的層特異的プルーニングによる新しいモデル圧縮手法を提案する。 定数から動的スライシングへの遷移により,新たに提案したレイヤ冗長度(LR)スコアを活用し,各レイヤが入力と出力のコサイン類似度を測定することで,その入力をどの程度変化させるかを評価する。 このスコアは、各レイヤの平均プルーンドパーセンテージが固定値となるように、冗長性に基づいて個々のレイヤの一部をプルークするために使用します。 複数のデータセット上でLlama3-8BやMistral-7Bのようなモデルを用いて広範な実験を行い、異なるスライシングベースとパーセンテージを評価し、効率と性能のバランスをとる最適な構成を決定する。 我々の動的スライシングアプローチは維持されるだけでなく、多くの場合、定常スライシング法によって確立されたベースラインと比較してモデル性能を向上させる。 例えば、いくつかの設定では、SliceGPTベースラインよりも最大5%パフォーマンスが改善されています。 さらに,複数のベンチマークで最大7%のパープレキシティ低下が観察され,本手法の有効性が検証された。 コード、モデルウェイト、データセットはhttps://github.com/RazvanDu/DynamicSlicing.comでオープンソース化されている。

関連論文リスト

• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• Streamlining Redundant Layers to Compress Large Language Models [21.27944103424621]
  本稿では,LLM-Streamlineについて紹介する。 LLM-Streamlineは2つの部分から構成される: 層プルーニング(Layer pruning)は、ターゲットの間隔に基づいて最も重要でない連続的な層を除去する。 実験により, LLM-Streamlineは, 性能および訓練効率の両面において, 先行および同時のプルーニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-28T04:12:13Z)
• Improving Reliability of Fine-tuning with Block-wise Optimisation [6.83082949264991]
  ファインタニングは知識を伝達することでドメイン固有のタスクに取り組むのに使うことができる。 本稿では,事前学習したモデルの層群を重み付けするブロックワイズ最適化機構を提案する。 提案されたアプローチは、頻繁に使用されるデータセットであるTf_flowerでテストされる。
  論文  参考訳（メタデータ） (2023-01-15T16:20:18Z)
• BERMo: What can BERT learn from ELMo? [6.417011237981518]
  言語モデル(ELMo)の埋め込みにおいて提案する線形結合スキームを用いて,異なるネットワーク深さのスケールした内部表現を組み合わせる。 提案手法の利点は,(1)下流タスクの勾配流の改善,(2)代表力の向上である。
  論文  参考訳（メタデータ） (2021-10-18T17:35:41Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
  トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。 従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
  論文  参考訳（メタデータ） (2021-04-08T08:21:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
  サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。 動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。 MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
  論文  参考訳（メタデータ） (2020-12-08T08:05:20Z)
• Learning Dynamic Routing for Semantic Segmentation [86.56049245100084]
  本稿では,動的ルーティングと呼ばれる意味表現のスケール分散を緩和する概念的に新しい手法を提案する。 提案フレームワークは,各画像のスケール分布に適応して,データ依存経路を生成する。 この目的のために、ハエのスケール変換経路を選択するために、ソフトコンディショナルゲートと呼ばれる微分可能なゲーティング関数を提案する。
  論文  参考訳（メタデータ） (2020-03-23T17:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。