Fugu-MT 論文翻訳(概要): A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks

論文の概要: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks

arxiv url: http://arxiv.org/abs/2312.15614v1
Date: Mon, 25 Dec 2023 05:25:39 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 17:15:26.653613
Title: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks
Title（参考訳）: ソフトウェア工学タスクにおけるパラメータ効率の良いファインチューニングの総合評価
Authors: Wentao Zou and Qi Li and Jidong Ge and Chuanyi Li and Xiaoyu Shen and Liguo Huang and Bin Luo
Abstract要約: 事前訓練されたモデル(PTM)は、様々なソフトウェア工学(SE)下流タスクで大きな成功を収めています。広く使われているソリューションはパラメータ効率の微調整(PEFT)であり、追加パラメータを導入しながらPTMを凍結する。本研究の目的は,5つのPEFT手法が8つのPTMおよび4つのSE下流タスクに対して有効であることを示すことである。
参考スコア（独自算出の注目度）: 29.88525311985907
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained models (PTMs) have achieved great success in various Software Engineering (SE) downstream tasks following the ``pre-train then fine-tune'' paradigm. As fully fine-tuning all parameters of PTMs can be computationally expensive, a widely used solution is parameter-efficient fine-tuning (PEFT), which freezes PTMs while introducing extra parameters. Though work has been done to test PEFT methods in the SE field, a comprehensive evaluation is still lacking. This paper aims to fill in this gap by evaluating the effectiveness of five PEFT methods on eight PTMs and four SE downstream tasks. For different tasks and PEFT methods, we seek answers to the following research questions: 1) Is it more effective to use PTMs trained specifically on source code, or is it sufficient to use PTMs trained on natural language text? 2) What is the impact of varying model sizes? 3) How does the model architecture affect the performance? Besides effectiveness, we also discuss the efficiency of PEFT methods, concerning the costs of required training time and GPU resource consumption. We hope that our findings can provide a deeper understanding of PEFT methods on various PTMs and SE downstream tasks. All the codes and data are available at \url{https://github.com/zwtnju/PEFT.git}.
Abstract（参考訳）: 事前学習モデル(PTM)は,‘pre-train then fine-tune’’パラダイムに従って,さまざまなソフトウェアエンジニアリング(SE)の下流タスクで大きな成功を収めています。 PTMの完全な微調整は計算コストがかかるため、パラメータ効率の良い微調整(PEFT)が広く用いられている。 SEフィールドでのPEFT手法のテストは行われているが、包括的な評価はいまだに不十分である。本稿では,8つのPTMと4つのSE下流タスクに対するPEFT法の有効性を評価することにより,このギャップを埋めることを目的とする。異なるタスクやPEFT手法について、以下の研究課題に対する回答を求める。 1) ソースコードに特化してトレーニングされたPTMを使う方が効果的か、それとも自然言語テキストにトレーニングされたPTMを使うのに十分か? 2) 異なるモデルサイズの影響はどのようなものか? 3) モデルアーキテクチャはパフォーマンスにどのように影響しますか? また,PEFT法の有効性についても検討し,必要なトレーニング時間とGPUリソース消費のコストについて検討した。我々は,様々なPTMおよびSE下流タスクにおけるPEFT手法のより深い理解を期待する。すべてのコードとデータは \url{https://github.com/zwtnju/peft.git} で入手できる。

関連論文リスト

Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study [3.5189934649278922]
GitHub Copilotのような大規模言語モデル(LLM)は、微調整なしで現実世界のタスクに苦労する。本稿では,LoRA, (IA)3, およびプロンプトチューニングを含む各種PEFT法について検討する。その結果,PEFT法は単体テスト生成のための完全微調整に匹敵する性能が得られることがわかった。
論文参考訳（メタデータ） (2024-11-04T09:03:18Z)
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
論文参考訳（メタデータ） (2024-10-04T18:50:46Z)
Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
論文参考訳（メタデータ） (2024-06-09T04:42:19Z)
Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning [17.032155725171958]
本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
論文参考訳（メタデータ） (2024-06-06T07:03:29Z)
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文参考訳（メタデータ） (2024-02-02T21:25:46Z)
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文参考訳（メタデータ） (2023-12-19T13:31:24Z)
ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文参考訳（メタデータ） (2023-11-22T05:28:59Z)
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文参考訳（メタデータ） (2023-04-04T16:14:39Z)
When does Parameter-Efficient Transfer Learning Work for Machine Translation? [8.862707047517913]
以前の研究は、PEFTは機械翻訳(MT)ではうまく機能しないことを示している。我々は,(1)パラメータ予算,(2)言語ペアの多種多様なセット,(3)事前学習モデルを考慮した,MT用PEFTの総合的な実証的研究を行った。事前学習モデルが大きいPEFTを用いて、より小さなモデルで完全な微調整を行うことができ、訓練データサイズが小さい場合には、同じ事前学習モデルで完全な微調整を行う。
論文参考訳（メタデータ） (2022-05-23T12:49:46Z)
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文参考訳（メタデータ） (2022-05-11T17:10:41Z)
CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。