論文の概要: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on
Software Engineering Tasks
- arxiv url: http://arxiv.org/abs/2312.15614v1
- Date: Mon, 25 Dec 2023 05:25:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 17:15:26.653613
- Title: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on
Software Engineering Tasks
- Title(参考訳): ソフトウェア工学タスクにおけるパラメータ効率の良いファインチューニングの総合評価
- Authors: Wentao Zou and Qi Li and Jidong Ge and Chuanyi Li and Xiaoyu Shen and
Liguo Huang and Bin Luo
- Abstract要約: 事前訓練されたモデル(PTM)は、様々なソフトウェア工学(SE)下流タスクで大きな成功を収めています。
広く使われているソリューションはパラメータ効率の微調整(PEFT)であり、追加パラメータを導入しながらPTMを凍結する。
本研究の目的は,5つのPEFT手法が8つのPTMおよび4つのSE下流タスクに対して有効であることを示すことである。
- 参考スコア(独自算出の注目度): 29.88525311985907
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained models (PTMs) have achieved great success in various Software
Engineering (SE) downstream tasks following the ``pre-train then fine-tune''
paradigm. As fully fine-tuning all parameters of PTMs can be computationally
expensive, a widely used solution is parameter-efficient fine-tuning (PEFT),
which freezes PTMs while introducing extra parameters. Though work has been
done to test PEFT methods in the SE field, a comprehensive evaluation is still
lacking. This paper aims to fill in this gap by evaluating the effectiveness of
five PEFT methods on eight PTMs and four SE downstream tasks. For different
tasks and PEFT methods, we seek answers to the following research questions: 1)
Is it more effective to use PTMs trained specifically on source code, or is it
sufficient to use PTMs trained on natural language text? 2) What is the impact
of varying model sizes? 3) How does the model architecture affect the
performance? Besides effectiveness, we also discuss the efficiency of PEFT
methods, concerning the costs of required training time and GPU resource
consumption. We hope that our findings can provide a deeper understanding of
PEFT methods on various PTMs and SE downstream tasks. All the codes and data
are available at \url{https://github.com/zwtnju/PEFT.git}.
- Abstract(参考訳): 事前学習モデル(PTM)は,‘pre-train then fine-tune’’パラダイムに従って,さまざまなソフトウェアエンジニアリング(SE)の下流タスクで大きな成功を収めています。
PTMの完全な微調整は計算コストがかかるため、パラメータ効率の良い微調整(PEFT)が広く用いられている。
SEフィールドでのPEFT手法のテストは行われているが、包括的な評価はいまだに不十分である。
本稿では,8つのPTMと4つのSE下流タスクに対するPEFT法の有効性を評価することにより,このギャップを埋めることを目的とする。
異なるタスクやPEFT手法について、以下の研究課題に対する回答を求める。
1) ソースコードに特化してトレーニングされたPTMを使う方が効果的か、それとも自然言語テキストにトレーニングされたPTMを使うのに十分か?
2) 異なるモデルサイズの影響はどのようなものか?
3) モデルアーキテクチャはパフォーマンスにどのように影響しますか?
また,PEFT法の有効性についても検討し,必要なトレーニング時間とGPUリソース消費のコストについて検討した。
我々は,様々なPTMおよびSE下流タスクにおけるPEFT手法のより深い理解を期待する。
すべてのコードとデータは \url{https://github.com/zwtnju/peft.git} で入手できる。
関連論文リスト
- An Empirical Study of Parameter Efficient Fine-tuning on Vision-Language
Pre-train Model [35.55098224322472]
PEFTの自然な期待は、様々なPEFTの性能がデータサイズと微調整可能なパラメータサイズに肯定的な関係があることである。
このような直感は、下流のデータとタスクが事前トレーニングと一致していない場合にのみ成立する。
事前トレーニングと整合した下流の微調整では、データサイズはもはやパフォーマンスに影響を与えず、微調整可能なパラメータサイズの影響は単調ではない。
論文 参考訳(メタデータ) (2024-03-13T11:33:38Z) - Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An
Empirical Study [10.052053069122652]
PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。
トレーニング済みの汎用知識を下流タスクに活用する。
PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
論文 参考訳(メタデータ) (2024-02-09T08:40:41Z) - From PEFT to DEFT: Parameter Efficient Finetuning for Reducing
Activation Density in Transformers [58.66678571605656]
そこで本研究では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。
提案手法の有効性を,QLoRA,LoRA,Adapter,Prompt/Prefix TuningなどのPEFT技術を用いて実証する。
提案手法であるDEFTは,RoBERTa$_mathrmLarge上での活性化密度を一定に低減し,最大$boldsymbol50.72%まで低減できることを示す。
論文 参考訳(メタデータ) (2024-02-02T21:25:46Z) - Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models:
A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。
PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。
パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文 参考訳(メタデータ) (2023-12-19T13:31:24Z) - ComPEFT: Compression for Communicating Parameter Efficient Updates via
Sparsification and Quantization [100.90624220423634]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。
200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文 参考訳(メタデータ) (2023-11-22T05:28:59Z) - DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。
DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-11T00:02:05Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳(メタデータ) (2023-04-04T16:14:39Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳(メタデータ) (2023-01-28T08:51:23Z) - When does Parameter-Efficient Transfer Learning Work for Machine
Translation? [8.862707047517913]
以前の研究は、PEFTは機械翻訳(MT)ではうまく機能しないことを示している。
我々は,(1)パラメータ予算,(2)言語ペアの多種多様なセット,(3)事前学習モデルを考慮した,MT用PEFTの総合的な実証的研究を行った。
事前学習モデルが大きいPEFTを用いて、より小さなモデルで完全な微調整を行うことができ、訓練データサイズが小さい場合には、同じ事前学習モデルで完全な微調整を行う。
論文 参考訳(メタデータ) (2022-05-23T12:49:46Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳(メタデータ) (2021-06-20T15:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。