論文の概要: Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning

• arxiv url: http://arxiv.org/abs/2406.03792v1
• Date: Thu, 6 Jun 2024 07:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 16:09:36.688177
• Title: Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning
• Title（参考訳）: Light-PEFT:早期刈り込みによる軽量化パラメータ効率の良いファインチューニング
• Authors: Naibin Gu, Peng Fu, Xiyu Liu, Bowen Shen, Zheng Lin, Weiping Wang,
• Abstract要約: 本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
• 参考スコア（独自算出の注目度）: 17.032155725171958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has emerged as the predominant technique for fine-tuning in the era of large language models. However, existing PEFT methods still have inadequate training efficiency. Firstly, the utilization of large-scale foundation models during the training process is excessively redundant for certain fine-tuning tasks. Secondly, as the model size increases, the growth in trainable parameters of empirically added PEFT modules becomes non-negligible and redundant, leading to inefficiency. To achieve task-specific efficient fine-tuning, we propose the Light-PEFT framework, which includes two methods: Masked Early Pruning of the Foundation Model and Multi-Granularity Early Pruning of PEFT. The Light-PEFT framework allows for the simultaneous estimation of redundant parameters in both the foundation model and PEFT modules during the early stage of training. These parameters can then be pruned for more efficient fine-tuning. We validate our approach on GLUE, SuperGLUE, QA tasks, and various models. With Light-PEFT, parameters of the foundation model can be pruned by up to over 40%, while still controlling trainable parameters to be only 25% of the original PEFT method. Compared to utilizing the PEFT method directly, Light-PEFT achieves training and inference speedup, reduces memory usage, and maintains comparable performance and the plug-and-play feature of PEFT.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)が,大規模言語モデルの時代において,ファインチューニングの主要な手法として登場した。 しかし、既存のPEFT法は依然として訓練効率が不十分である。 第一に、訓練過程における大規模な基礎モデルの利用は、特定の微調整タスクに対して過度に冗長である。 第二に、モデルのサイズが大きくなるにつれて、経験的に付加されたPEFTモジュールのトレーニング可能なパラメータの増大は無視不可能で冗長になり、非効率になる。 タスク固有の効率的な微調整を実現するために,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 Light-PEFTフレームワークは、トレーニングの初期段階において、基礎モデルとPEFTモジュールの両方の冗長パラメータを同時に推定することを可能にする。 これらのパラメータはより効率的な微調整のために刈り取ることができる。 我々は、GLUE、SuperGLUE、QAタスク、および様々なモデルに対するアプローチを検証する。 Light-PEFTでは、基礎モデルのパラメータを40%以上刈り取ることができるが、トレーニング可能なパラメータは元のPEFT法の25%に留まる。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、PEFTの同等の性能とプラグ・アンド・プレイ機能を維持する。

関連論文リスト

• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
  自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。 公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T18:50:46Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• IISAN: Efficiently Adapting Multimodal Representation for Sequential Recommendation with Decoupled PEFT [45.95678408227546]
  IISAN(Intra- and Inter-modal Side Adapted Network for Multimodal Representation)は、シーケンシャルなレコメンデーションシステムのためのプラグイン・アンド・プレイアーキテクチャである。 IISANはフルファインチューニング(FFT)と最先端PEFTのパフォーマンスにマッチする。 マルチモーダルシーケンシャルレコメンデーションタスクでは、47GBからわずか3GBへと大幅に削減される。
  論文  参考訳（メタデータ） (2024-04-02T15:58:36Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference [63.52244442498831]
  大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。 LMのパラメータを適応的にプーンし調整するAPTを導入する。 APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
  論文  参考訳（メタデータ） (2024-01-22T18:39:40Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• When does Parameter-Efficient Transfer Learning Work for Machine Translation? [8.862707047517913]
  以前の研究は、PEFTは機械翻訳(MT)ではうまく機能しないことを示している。 我々は,(1)パラメータ予算,(2)言語ペアの多種多様なセット,(3)事前学習モデルを考慮した,MT用PEFTの総合的な実証的研究を行った。 事前学習モデルが大きいPEFTを用いて、より小さなモデルで完全な微調整を行うことができ、訓練データサイズが小さい場合には、同じ事前学習モデルで完全な微調整を行う。
  論文  参考訳（メタデータ） (2022-05-23T12:49:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。