論文の概要: PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs

• arxiv url: http://arxiv.org/abs/2506.07587v1
• Date: Mon, 09 Jun 2025 09:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.130104
• Title: PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs
• Title（参考訳）: PrunePEFT: LLMのパラメータ効率の良い微調整のための反復ハイブリッドプルーニング
• Authors: Tongzhou Yu, Zhuhao Zhang, Guanghui Zhu, Shen Jiang, Meikang Qiu, Yihua Huang,
• Abstract要約: PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。 本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
• 参考スコア（独自算出の注目度）: 8.52711842775914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter Efficient Fine-Tuning (PEFT) methods have emerged as effective and promising approaches for fine-tuning pre-trained language models. Compared with Full parameter Fine-Tuning (FFT), PEFT achieved comparable task performance with a substantial reduction of trainable parameters, which largely saved the training and storage costs. However, using the PEFT method requires considering a vast design space, such as the type of PEFT modules and their insertion layers. Inadequate configurations can lead to sub-optimal results. Conventional solutions such as architectural search techniques, while effective, tend to introduce substantial additional overhead. In this paper, we propose a novel approach, PrunePEFT, which formulates the PEFT strategy search as a pruning problem and introduces a hybrid pruning strategy that capitalizes on the sensitivity of pruning methods to different PEFT modules. This method extends traditional pruning techniques by iteratively removing redundant or conflicting PEFT modules, thereby optimizing the fine-tuned configuration. By efficiently identifying the most relevant modules, our approach significantly reduces the computational burden typically associated with architectural search processes, making it a more scalable and efficient solution for fine-tuning large pre-trained models.
• Abstract（参考訳）: パラメータ・エフェクト・ファイン・チューニング(PEFT)法は,訓練済み言語モデルにおいて,効果的かつ有望なアプローチとして登場した。 フルパラメータファインチューニング(FFT)と比較すると、PEFTはトレーニング可能なパラメータを大幅に削減し、トレーニングとストレージコストを大幅に削減した。 しかし、PEFT法を使用するには、PEFTモジュールの種類や挿入層など、広大な設計空間を考慮する必要がある。 不適切な設定は、準最適結果につながる可能性がある。 アーキテクチャ検索技術のような従来のソリューションは、有効ではあるが、かなりのオーバヘッドをもたらす傾向がある。 本稿では,PEFT戦略探索をプルーニング問題として定式化し,異なるPEFTモジュールに対するプルーニング手法の感度を生かしたハイブリッドプルーニング戦略を提案する。 本手法は,冗長あるいは矛盾するPEFTモジュールを反復的に除去し,微調整構成を最適化することにより,従来のプルーニング手法を拡張した。 提案手法は,最も関連性の高いモジュールを効率よく同定することにより,アーキテクチャ検索プロセスに係わる計算負担を著しく低減し,よりスケーラブルで効率的な大規模事前学習モデルの解法となる。

関連論文リスト

• Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
  Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。 ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
  論文  参考訳（メタデータ） (2024-10-15T16:53:26Z)
• BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
  自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。 公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T18:50:46Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。