Fugu-MT 論文翻訳(概要): A Sliding Layer Merging Method for Efficient Depth-Wise Pruning in LLMs

論文の概要: A Sliding Layer Merging Method for Efficient Depth-Wise Pruning in LLMs

arxiv url: http://arxiv.org/abs/2502.19159v1
Date: Wed, 26 Feb 2025 14:15:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-27 14:57:28.713037
Title: A Sliding Layer Merging Method for Efficient Depth-Wise Pruning in LLMs
Title（参考訳）: LLMにおける高効率深度プレーニングのためのスライディング層マージ法
Authors: Xuan Ding, Yao Zhu, Yunjian Zhang, Chuanlong Xie,
Abstract要約: 本稿では,再現カーネルHilbert空間内の異なるレイヤの出力の相関関係を解析することにより,大規模言語モデルにおけるレイヤ間の"パッチライクな"特徴関係を明らかにする。本研究では, 連続層を上から下へ動的に選択・融合するスライディング層マージ法について, 予め定義された類似度閾値に従って提案する。提案手法は,ゼロショット推論性能と再学習後の回復品質の両方において,既存のプルーニング技術より優れる。
参考スコア（独自算出の注目度）: 14.514670828712669
License:
Abstract: Compared to width-wise pruning, depth-wise pruning can significantly accelerate inference in resource-constrained scenarios. Howerver, treating the entire Transformer layer as the minimum pruning unit may degrade model performance by indiscriminately discarding the entire information of the layer. This paper reveals the "Patch-like" feature relationship between layers in large language models by analyzing the correlation of the outputs of different layers in the reproducing kernel Hilbert space. Building on this observation, we proposes a sliding layer merging method that dynamically selects and fuses consecutive layers from top to bottom according to a pre-defined similarity threshold, thereby simplifying the model structure while maintaining its performance. Extensive experiments on LLMs with various architectures and different parameter scales show that our method outperforms existing pruning techniques in both zero-shot inference performance and retraining recovery quality after pruning. In particular, in the experiment with 35\% pruning on the Vicuna-7B model, our method achieved a 1.654\% improvement in average performance on zero-shot tasks compared to the existing method. Moreover, we further reveal the potential of combining depth pruning with width pruning to enhance the pruning effect. Our codes are available at https://github.com/920927/SLM-a-sliding-layer-merging-method.
Abstract（参考訳）: 幅ワイドプルーニングと比較して、資源制約のあるシナリオにおいて、深さワイドプルーニングは推論を著しく加速させることができる。ハウバーは、トランスフォーマー層全体を最小の刈り取りユニットとして扱うことで、層全体の情報を無差別に破棄することで、モデル性能を低下させることができる。本稿では,再現カーネルHilbert空間内の異なるレイヤの出力の相関関係を解析することにより,大規模言語モデルにおけるレイヤ間の"パッチライクな"特徴関係を明らかにする。そこで本研究では, 連続層を上から下へ動的に選択・融合するスライディング層マージ手法を提案し, その性能を維持しながらモデル構造を簡素化する。各種アーキテクチャとパラメータスケールの異なるLLMの大規模実験により,本手法は,ゼロショット推論性能と再学習後の回復品質の両方において,既存プルーニング技術よりも優れた性能を示した。特に,Vicuna-7Bモデルを用いた35\%プルーニング実験では,既存の手法と比較して,ゼロショットタスクの平均性能が1.654.%向上した。さらに, プルーニング効果を高めるために, プルーニングと幅プルーニングを組み合わせる可能性を明らかにした。私たちのコードはhttps://github.com/920927/SLM-a-sliding-layer-merging-methodで公開されています。

関連論文リスト

Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
論文参考訳（メタデータ） (2025-02-20T17:51:10Z)
LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文参考訳（メタデータ） (2025-02-19T14:58:48Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
Change Is the Only Constant: Dynamic LLM Slicing based on Layer Redundancy [19.14439554384161]
本稿では,Large Language Models (LLMs) における動的層特異的プルーニングによる新しいモデル圧縮手法を提案する。定数から動的スライシングへの移行により,新たに提案したレイヤ冗長性(LR)スコアを活用する。我々の動的スライシングアプローチは維持されるだけでなく、多くの場合、定常スライシング法によって確立されたベースラインと比較してモデル性能を向上させる。
論文参考訳（メタデータ） (2024-11-05T21:19:49Z)
AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models [94.82766517752418]
そこで我々は,AlphaPruningを提案する。このAlphaPruningは,より理論的に原理化された方法で,水平方向の空間比を割り振る。以上よりAlphaPruning prunes LLaMA-7B to 80% sparsity while maintain well perplexity, marking a first in the literature on LLMs。
論文参考訳（メタデータ） (2024-10-14T03:35:11Z)
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文参考訳（メタデータ） (2024-06-15T09:31:03Z)
The Unreasonable Ineffectiveness of the Deeper Layers [5.984361440126354]
本研究では,オープンウェイトプレトレーニング LLM の一般家庭を対象とした簡易な階層分割戦略について検討する。レイヤーの大部分が取り除かれるまで、パフォーマンスの最小限の劣化が見られます。科学的見地からすると、これらのLCMの堅牢性からレイヤの削除は、現在の事前学習手法がネットワークの深い層におけるパラメータを適切に活用していない、あるいは浅い層が知識を保存する上で重要な役割を担っていることを示唆している。
論文参考訳（メタデータ） (2024-03-26T17:20:04Z)
ShortGPT: Layers in Large Language Models are More Redundant Than You Expect [38.148626520751385]
LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
論文参考訳（メタデータ） (2024-03-06T17:04:18Z)
LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
論文参考訳（メタデータ） (2024-02-17T04:16:30Z)
Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
論文参考訳（メタデータ） (2021-04-08T08:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。