Fugu-MT 論文翻訳(概要): Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs

論文の概要: Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs

arxiv url: http://arxiv.org/abs/2304.14999v1
Date: Fri, 28 Apr 2023 17:39:49 GMT
ステータス: 処理完了
システム内更新日: 2023-05-01 13:15:23.056495
Title: Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs
Title（参考訳）: LLM用PEFT技術の強度と弱さの実証解析
Authors: George Pu, Anirudh Jain, Jihan Yin, Russell Kaplan
Abstract要約: 各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
参考スコア（独自算出の注目度）: 1.867982979635437
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As foundation models continue to exponentially scale in size, efficient methods of adaptation become increasingly critical. Parameter-efficient fine-tuning (PEFT), a recent class of techniques that require only modifying a small percentage of the model parameters, is currently the most popular method for adapting large language models (LLMs). Several PEFT techniques have recently been proposed with varying tradeoffs. We provide a comprehensive and uniform benchmark of various PEFT techniques across a representative LLM, the FLAN-T5 model, and evaluate model performance across different data scales of classification and generation datasets. Based on this, we provide a framework for choosing the optimal fine-tuning techniques given the task type and data availability. Contrary to popular belief, we also empirically prove that PEFT techniques converge slower than full tuning in low data scenarios, and posit the amount of data required for PEFT methods to both perform well and converge efficiently. Lastly, we further optimize these PEFT techniques by selectively choosing which parts of the model to train, and find that these techniques can be applied with significantly fewer parameters while maintaining and even improving performance.
Abstract（参考訳）: 基礎モデルのサイズが指数関数的に拡大し続ければ、適応の効率的な方法がますます重要になる。パラメータ効率のよい微調整(PEFT)は、モデルパラメータのごく一部の変更しか必要としない最近の手法のクラスであり、現在、大規模言語モデル(LLM)を適応する最も一般的な方法である。さまざまなトレードオフを伴うpeftテクニックが最近提案されている。我々は,代表LLM,FLAN-T5モデルにまたがる様々なPEFT手法の総合的かつ均一なベンチマークを行い,分類と生成データセットの異なるデータスケールにおけるモデル性能を評価する。これに基づいて,タスクタイプとデータ可用性を考慮した最適な微調整手法を選択するためのフレームワークを提供する。また,PEFT手法が低データシナリオにおいて,完全なチューニングよりも遅く収束することが実証的に証明され,PEFT法に必要なデータ量を効率よく,効率的に収束させることができる。最後に,モデルのどの部分を選択的に選択することによって,これらのペフト手法をさらに最適化し,それらの手法を維持・改善しながら,はるかに少ないパラメータで適用できることを見出した。

関連論文リスト

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。 ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
論文参考訳（メタデータ） (2024-10-15T16:53:26Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文参考訳（メタデータ） (2024-07-28T19:18:59Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models [1.2263658159556594]
フル微調整は、Transformerベースのトレーニング済みの大規模言語モデルを特定の下流タスクに適応するための一般的なアプローチである。本研究では,多種多様な言語知識の局所化に基づくSPAFIT(Stratified Progressive Adaptation Fine-tuning)を提案する。 GLUEベンチマークの9つのタスクを用いて実験を行い,提案手法が他のPEFT法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-04-30T21:07:32Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
Efficiency at Scale: Investigating the Performance of Diminutive Language Models in Clinical Tasks [2.834743715323873]
本稿では,臨床意思決定タスクにおけるPEFT法の適合性について検討する。分析の結果,ほとんどのPEFT手法の性能はタスクによって大きく異なることがわかった。臨床領域におけるPEFT法の有効性は明らかであり、特に低コストで社内の計算インフラで運用できる専門モデルでは顕著である。
論文参考訳（メタデータ） (2024-02-16T11:30:11Z)
ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文参考訳（メタデータ） (2023-11-22T05:28:59Z)
Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning [10.51168925267033]
本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
論文参考訳（メタデータ） (2023-03-28T00:06:38Z)
UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。