論文の概要: PAT: Pruning-Aware Tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2408.14721v2
• Date: Sat, 25 Jan 2025 05:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:15.975900
• Title: PAT: Pruning-Aware Tuning for Large Language Models
• Title（参考訳）: PAT: 大規模言語モデルのためのPruning-Aware Tuning
• Authors: Yijiang Liu, Huanrui Yang, Youxin Chen, Rongyu Zhang, Miao Wang, Yuan Du, Li Du,
• Abstract要約: 大規模言語モデルは言語タスク、特に事前訓練後の教師付き微調整において優れている。 伝統的なポストホットプルーニングは、しばしばパフォーマンスを著しく損なう。 モデル冗長性を排除するために,Pruning-Aware Tuning(PAT)パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 19.622152991641045
• License:
• Abstract: Large language models (LLMs) excel in language tasks, especially with supervised fine-tuning after pre-training. However, their substantial memory and computational requirements hinder practical applications. Structural pruning, which reduces less significant weight dimensions, is one solution. Yet, traditional post-hoc pruning often leads to significant performance loss, with limited recovery from further fine-tuning due to reduced capacity. Since the model fine-tuning refines the general and chaotic knowledge in pre-trained models, we aim to incorporate structural pruning with the fine-tuning, and propose the Pruning-Aware Tuning (PAT) paradigm to eliminate model redundancy while preserving the model performance to the maximum extend. Specifically, we insert the innovative Hybrid Sparsification Modules (HSMs) between the Attention and FFN components to accordingly sparsify the upstream and downstream linear modules. The HSM comprises a lightweight operator and a globally shared trainable mask. The lightweight operator maintains a training overhead comparable to that of LoRA, while the trainable mask unifies the channels to be sparsified, ensuring structural pruning. Additionally, we propose the Identity Loss which decouples the transformation and scaling properties of the HSMs to enhance training robustness. Extensive experiments demonstrate that PAT excels in both performance and efficiency. For example, our Llama2-7b model with a 25\% pruning ratio achieves 1.33$\times$ speedup while outperforming the LoRA-finetuned model by up to 1.26\% in accuracy with a similar training cost. Code: https://github.com/kriskrisliu/PAT_Pruning-Aware-Tuning
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語タスク、特に事前訓練後の教師付き微調整に優れる。 しかし、そのメモリと計算の要求が現実的な応用を妨げている。 重みの少ない構造プルーニングは一つの解である。 しかし、伝統的なポストホットプルーニングは、キャパシティの低下により、さらなる微調整によるリカバリが制限され、パフォーマンスが著しく低下することが多い。 モデルファインチューニングは,事前学習モデルにおける一般的なカオス的知識を洗練させるため,モデル性能を最大拡張に保ちながら,モデル冗長性を排除したPruning-Aware Tuning(PAT)パラダイムを提案する。 具体的には、アテンションとFFNコンポーネントの間に革新的なハイブリッドスカラー化モジュール(HSM)を挿入し、それに従って上流および下流の線形モジュールをスカラー化する。 HSMは軽量演算子と、グローバルに共有可能なトレーニング用マスクとを備える。 軽量オペレータはLoRAと同等のトレーニングオーバーヘッドを維持し、トレーニング可能なマスクはチャネルを分散させ、構造的なプルーニングを保証する。 さらに,HSMの変形特性とスケーリング特性を分離し,トレーニングの堅牢性を高めるアイデンティティ損失を提案する。 大規模な実験により、PATは性能と効率の両方で優れていることが示された。 例えば、25\%のプルーニング比を持つLlama2-7bモデルは、1.33$\times$スピードアップを達成し、同じトレーニングコストで最大1.26\%の精度でLoRA微調整モデルより優れている。 コード:https://github.com/kriskrisliu/PAT_Pruning-Aware-Tuning

関連論文リスト

• Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training [27.857935426067076]
  スモール言語モデル (SLM) はエッジデバイスにおける幅広い応用のために注目されている。 高い性能を持つSLMを得るには、計算コストがかなりかかるスクラッチからモデルを事前訓練するか、既存の大規模言語モデル(LLM)を圧縮し、事前訓練に比べて性能が低下し低下する。 1) レイヤーワイド適応プルーニング (Adapt-Pruner) は, LLM において極めて有効であり, 既存のプルーニング技術よりも顕著な改善が得られ, 2) さらなるトレーニングを施した適応プルーニングは, スクラッチから事前学習したプルーニングに匹敵するモデルとなる。
  論文  参考訳（メタデータ） (2025-02-05T18:57:40Z)
• FASP: Fast and Accurate Structured Pruning of Large Language Models [24.185245582500876]
  FASP(Fast and Accurate Structured Pruning)は,大規模言語モデル(LLM)のための新しい構造化プルーニングフレームワークである。 FASPはシーケンシャルなレイヤを相互にリンクする独自のプルーニング構造を採用しており、同時に前のレイヤで対応する行を削除しながら、追加のパフォーマンス損失を発生させることなく、ひとつのレイヤで列を削除できる。 我々は,OPTおよびLLaMAモデルファミリー上でのFASPを評価し,最先端の手法と比較して,下流タスクの難易度と精度において優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-16T09:38:39Z)
• Pruning Large Language Models with Semi-Structural Adaptive Sparse Training [17.381160429641316]
  Adaptive Sparse Trainer (AST)は、半構造化スパースモデルに適した、新規で効率的なリトレーニングフレームワークである。 ASTは、密度と2:4の半構造化スパースモデルのパープレキシティとゼロショット精度のギャップをそれぞれ0.6と1.16%に削減する。
  論文  参考訳（メタデータ） (2024-07-30T06:33:44Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• Attention-Driven Training-Free Efficiency Enhancement of Diffusion Models [29.863953001061635]
  拡散モデル(DM)は高品質で多様な画像を生成する上で優れた性能を示した。 既存の作業は主にDM効率を高めるためのトレーニングプロセスを採用している。 本稿では,アテンション駆動型トレーニングフリー効率拡散モデル (AT-EDM) フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-08T17:56:47Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。