論文の概要: Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An
Empirical Study
- arxiv url: http://arxiv.org/abs/2402.06247v1
- Date: Fri, 9 Feb 2024 08:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 17:41:48.457053
- Title: Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An
Empirical Study
- Title(参考訳): コードチェンジ学習におけるパラメータ効率のよい微調整:実証的研究
- Authors: Shuo Liu, Jacky Keung, Zhen Yang, Fang Liu, Qilin Zhou, Yihan Liao
- Abstract要約: PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。
トレーニング済みの汎用知識を下流タスクに活用する。
PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
- 参考スコア(独自算出の注目度): 10.052053069122652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compared to Full-Model Fine-Tuning (FMFT), Parameter Efficient Fine-Tuning
(PEFT) has demonstrated superior performance and lower computational overhead
in several code understanding tasks, such as code summarization and code
search. This advantage can be attributed to PEFT's ability to alleviate the
catastrophic forgetting issue of Pre-trained Language Models (PLMs) by updating
only a small number of parameters. As a result, PEFT effectively harnesses the
pre-trained general-purpose knowledge for downstream tasks. However, existing
studies primarily involve static code comprehension, aligning with the
pre-training paradigm of recent PLMs and facilitating knowledge transfer, but
they do not account for dynamic code changes. Thus, it remains unclear whether
PEFT outperforms FMFT in task-specific adaptation for code-change-related
tasks. To address this question, we examine two prevalent PEFT methods, namely
Adapter Tuning (AT) and Low-Rank Adaptation (LoRA), and compare their
performance with FMFT on five popular PLMs. Specifically, we evaluate their
performance on two widely-studied code-change-related tasks: Just-In-Time
Defect Prediction (JIT-DP) and Commit Message Generation (CMG). The results
demonstrate that both AT and LoRA achieve state-of-the-art (SOTA) results in
JIT-DP and exhibit comparable performances in CMG when compared to FMFT and
other SOTA approaches. Furthermore, AT and LoRA exhibit superiority in
cross-lingual and low-resource scenarios. We also conduct three probing tasks
to explain the efficacy of PEFT techniques on JIT-DP and CMG tasks from both
static and dynamic perspectives. The study indicates that PEFT, particularly
through the use of AT and LoRA, offers promising advantages in
code-change-related tasks, surpassing FMFT in certain aspects.
- Abstract(参考訳): FMFT(Full-Model Fine-Tuning)と比較すると、コード要約やコード検索などのコード理解タスクにおいて、PEFT(パラメータ効率の良いファインチューニング)は優れた性能と低い計算オーバーヘッドを示している。
この利点は、プリトレーニング言語モデル(plm)の破滅的な忘れる問題を少数のパラメータだけを更新することで緩和できるペフトの能力に起因する。
その結果,PEFT は下流タスクにおいて,事前学習した汎用知識を効果的に活用する。
しかし、既存の研究は主に静的コード理解と最近のPLMの事前学習パラダイムと整合し、知識の伝達を促進するが、動的コードの変更は考慮していない。
したがって、PEFTがFMFTのコード変更関連タスクに対するタスク特化に優れているかどうかは不明である。
そこで本研究では,適応調整(AT)とローランク適応(LoRA)の2つのPEFT手法について検討し,その性能を5つのPLM上でFMFTと比較した。
具体的には,Just-In-Time Defect Prediction (JIT-DP) とCommit Message Generation (CMG) という,広く研究されている2つのコード変更関連タスクのパフォーマンスを評価する。
その結果, AT と LoRA はいずれも JIT-DP を達成し,FMFT や他の SOTA のアプローチと比較して CMG に匹敵する性能を示した。
さらに、ATとLoRAは、クロスランガルおよび低リソースのシナリオにおいて優位性を示す。
また、静的・動的両面から、JIT-DPおよびCMGタスクにおけるPEFT手法の有効性を説明するための3つの探索タスクも実施する。
この研究によると、PEFTは特にATとLoRAを使って、コード変更に関連するタスクにおいて有望なアドバンテージを提供し、特定の面でFMFTを上回っている。
関連論文リスト
- FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition [7.229494183462912]
プレトレーニング言語モデル(PLM)は、微調整後、様々な下流タスクにおいて優れた性能を示した。
フェデレーションラーニング(Federated Learning)は、クライアントのトレーニングのみを必要とし、データを共有せずにサーバの重みを集約するソリューションとして登場した。
本稿では,フェデレーション学習におけるローランド適応(LoRA)法の改良であるFeDeRAを提案する。
論文 参考訳(メタデータ) (2024-04-29T16:42:26Z) - PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
本稿では,PYRA(Parallel Yielding Re-Activation)手法を提案する。
PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
論文 参考訳(メタデータ) (2024-03-14T09:06:49Z) - An Empirical Study of Parameter Efficient Fine-tuning on Vision-Language
Pre-train Model [35.55098224322472]
PEFTの自然な期待は、様々なPEFTの性能がデータサイズと微調整可能なパラメータサイズに肯定的な関係があることである。
このような直感は、下流のデータとタスクが事前トレーニングと一致していない場合にのみ成立する。
事前トレーニングと整合した下流の微調整では、データサイズはもはやパフォーマンスに影響を与えず、微調整可能なパラメータサイズの影響は単調ではない。
論文 参考訳(メタデータ) (2024-03-13T11:33:38Z) - From PEFT to DEFT: Parameter Efficient Finetuning for Reducing
Activation Density in Transformers [58.66678571605656]
そこで本研究では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。
提案手法の有効性を,QLoRA,LoRA,Adapter,Prompt/Prefix TuningなどのPEFT技術を用いて実証する。
提案手法であるDEFTは,RoBERTa$_mathrmLarge上での活性化密度を一定に低減し,最大$boldsymbol50.72%まで低減できることを示す。
論文 参考訳(メタデータ) (2024-02-02T21:25:46Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
この論文は小説を紹介します。
COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。
トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。
提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
論文 参考訳(メタデータ) (2023-12-14T13:00:24Z) - MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning [28.12788291168137]
複数のタスクを同時に並列に微調整できるマルチタスクファインチューニングフレームワーク MFTcoder を提案する。
実験により、我々のマルチタスクファインチューニングアプローチは、単一タスクにおける個々のファインチューニングと、混合タスクにおけるファインチューニングの両方より優れていることが示された。
論文 参考訳(メタデータ) (2023-11-04T02:22:40Z) - LLaMA-Reviewer: Advancing Code Review Automation with Large Language
Models through Parameter-Efficient Fine-Tuning [13.616908697637665]
LLaMA-Reviewerは、コードレビューの領域において、人気のあるLLMであるLLaMAの機能を活用する革新的なフレームワークである。
このフレームワークはパラメータ効率のよい微調整(PEFT)方式を採用し、トレーニング可能なパラメータの1%未満を使用しながら高い性能を実現する。
この分野での継続的な進歩を促進するために、コードとすべてのPEFT軽量プラグインがオープンソース化された。
論文 参考訳(メタデータ) (2023-08-22T03:10:40Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳(メタデータ) (2023-04-04T16:14:39Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳(メタデータ) (2021-06-20T15:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。