Fugu-MT 論文翻訳(概要): Towards Efficient Automatic Self-Pruning of Large Language Models

論文の概要: Towards Efficient Automatic Self-Pruning of Large Language Models

arxiv url: http://arxiv.org/abs/2502.14413v1
Date: Thu, 20 Feb 2025 09:59:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 17:44:20.813348
Title: Towards Efficient Automatic Self-Pruning of Large Language Models
Title（参考訳）: 大規模言語モデルの効率的な自己表現に向けて
Authors: Weizhong Huang, Yuxin Zhang, Xiawu Zheng, Fei Chao, Rongrong Ji,
Abstract要約: トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
参考スコア（独自算出の注目度）: 55.90119819642064
License:
Abstract: Despite exceptional capabilities, Large Language Models (LLMs) still face deployment challenges due to their enormous size. Post-training structured pruning is a promising solution that prunes LLMs without the need for retraining, reducing computational overhead, and it is hardware-deployment friendly. However, the training-free nature of post-training structured pruning leads to significant performance degradation. We argue that the key to mitigating this issue lies in accurately determining the pruning rate for each layer. Meanwhile, we find that LLMs may have prior knowledge about their own redundancy. Based on this insight, we introduce $\textbf{Self-Pruner}$ an end-to-end automatic self-pruning framework for LLMs, which efficiently search layer-wise pruning rates. Specifically, $\textbf{Self-Pruner}$ leverages LLMs to autonomously execute the entire evolutionary search process to search for pruning rate configurations. In this process, LLMs are used to generate populations, select parent solutions from the current population, and perform crossover and mutation operations to produce offspring solutions. In this way, LLMs automatically generate and evaluate a large number of candidate solutions, effectively converging to find the pruning rate configurations with minimal human intervention. Extensive experiments demonstrate $\textbf{Self-Pruner}$'s better performance compared to existing state-of-the-art methods. Notably, $\textbf{Self-Pruner}$ prunes LLaMA-2-70B to 49B level with only 0.80$\%$ drop in accuracy across seven commonsense reasoning tasks, achieving a 1.39$\times$ speedup on NVIDIA A100 80GB GPU. Further pruning to 35B level resulted in only a 3.80$\%$ decrease in accuracy while obtaining a 1.70$\times$ speedup.
Abstract（参考訳）: 例外的な機能にもかかわらず、LLM(Large Language Models)は、その巨大なサイズのため、まだデプロイメント上の課題に直面している。トレーニング後の構造化プルーニングは、再トレーニングを必要とせず、計算オーバーヘッドを減らし、ハードウェアのデプロイに優しい、有望なソリューションである。しかし, 訓練後構造化プルーニングのトレーニングフリー性は, 性能劣化を著しく引き起こす。この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。一方,LSMは自己の冗長性について事前の知識を持っている可能性がある。この知見に基づいて,レイヤワイズプルーニングレートを効率よく検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークとして,$\textbf{Self-Pruner}を紹介した。具体的には、$\textbf{Self-Pruner}$はLLMを活用して、進化的検索プロセス全体を自律的に実行し、プルーニングレートの設定を検索する。このプロセスでは、LSMは個体群を生成し、現在の個体群から親溶液を選択し、交叉および突然変異操作を行い、子孫溶液を生成する。このようにして、LLMは多数の候補解を自動生成し、評価し、効果的に収束して、人間の介入を最小限に抑えたプルーニングレート構成を見つける。大規模な実験では、既存の最先端メソッドと比較して、$\textbf{Self-Pruner}$のパフォーマンスが向上した。特に、$\textbf{Self-Pruner}$ prunes LLaMA-2-70B to 49B レベルは7つの常識的推論タスクで 0.80$\% の精度で、NVIDIA A100 80GB GPUで 1.39$\times$ スピードアップを達成した。さらなる35Bレベルへのプルーニングにより、精度は3.80$\%しか低下せず、1.70$\times$スピードアップを得た。

関連論文リスト

Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training [27.857935426067076]
スモール言語モデル (SLM) はエッジデバイスにおける幅広い応用のために注目されている。高い性能を持つSLMを得るには、計算コストがかなりかかるスクラッチからモデルを事前訓練するか、既存の大規模言語モデル(LLM)を圧縮し、事前訓練に比べて性能が低下し低下する。 1) レイヤーワイド適応プルーニング (Adapt-Pruner) は, LLM において極めて有効であり, 既存のプルーニング技術よりも顕著な改善が得られ, 2) さらなるトレーニングを施した適応プルーニングは, スクラッチから事前学習したプルーニングに匹敵するモデルとなる。
論文参考訳（メタデータ） (2025-02-05T18:57:40Z)
Reassessing Layer Pruning in LLMs: New Insights and Methods [24.394438652261982]
単純なアプローチ、すなわち、最後の25%のレイヤをプルーニングし、その後にtextttlm_headと残りの3つのレイヤを微調整することで、非常に高いパフォーマンスが得られることを示す。私たちはHfaceで最適なモデルウェイトをリリースし、コードはGitHubで入手できる。
論文参考訳（メタデータ） (2024-11-23T13:31:16Z)
Pruning Foundation Models for High Accuracy without Retraining [48.256389781305415]
基礎モデルや大規模言語モデル(LLM)の展開は、膨大なパラメータと計算量のために困難である。ワンショットでLLMを再訓練せずにプルーンする訓練後プルーニング法が提案されている。本実験は,SOTAベースラインと比較して提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2024-10-21T01:23:34Z)
Large Language Models Are Overparameterized Text Encoders [17.608805125623803]
大規模言語モデル(LLM)は、教師付きコントラスト訓練で微調整されたテキスト埋め込みモデルとして高い性能を示す。我々は,LLMの最後の$p%のレイヤーを1000ステップの指導訓練前に刈り取ることで,メモリと推論時間の比例的に削減できることを示す。
論文参考訳（メタデータ） (2024-10-18T16:26:45Z)
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文参考訳（メタデータ） (2024-06-15T09:31:03Z)
ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search [50.45155830888697]
ReST-MCTS*と呼ばれる強化された自己学習手法を開発し、プロセス報酬指導と木探索MCTS*を統合して、高品質な推論トレースを収集し、ポリシーや報酬モデルにステップごとの価値を学習する。 ReST-MCTS* における木探索ポリシーは,Best-of-N や Tree-of-Thought といった従来の LLM 推論ベースラインと比較して,同じ検索予算内で高い精度を達成できることを示す。
論文参考訳（メタデータ） (2024-06-06T07:40:00Z)
Can Large Language Models Play Games? A Case Study of A Self-Play Approach [61.15761840203145]
LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。 Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
論文参考訳（メタデータ） (2024-03-08T19:16:29Z)
Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
論文参考訳（メタデータ） (2023-10-13T07:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。