論文の概要: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Automated Program Repair

• arxiv url: http://arxiv.org/abs/2406.05639v1
• Date: Sun, 9 Jun 2024 04:42:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 18:46:42.936421
• Title: A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Automated Program Repair
• Title（参考訳）: 自動プログラム修復におけるパラメータ効率の良いファインチューニングの総合評価
• Authors: Guochang Li, Chen Zhi, Jialiang Chen, Junxiao Han, Shuiguang Deng,
• Abstract要約: 事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる 我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。 最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
• 参考スコア（独自算出の注目度）: 5.6679735367798925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Program Repair (APR) aims to fix bugs by generating patches. And existing work has demonstrated that "pre-training and fine-tuning" paradigm enables Large Language Models (LLMs) improve fixing capabilities on APR. However, existing work mainly focuses on Full-Model Fine-Tuning (FMFT) for APR and limited research has been conducted on the execution-based evaluation of Parameter-Efficient Fine-Tuning (PEFT) for APR. Comparing to FMFT, PEFT can reduce computing resource consumption without compromising performance and has been widely adopted to other software engineering tasks. To fill this gap, we enhance the existing APR dataset by employing prompt engineering to create an instruction dataset, APR-INSTRUCTION, at first. Secondly, we fine-tune four pre-trained LLMs using four different PEFT methods with APR-INSTRUCTION. The best fine-tuned model fixes 58% more bugs than the state-of-the-art LLM-based APR techniques. The results also show that $(IA)^3$ improves the creativity of LLMs more effectively through fine-tuning and achieves the highest fixing capability compared to the other three PEFT methods. Thirdly, we explore the optimal configuration of PEFT hyperparameters, and assess the impact of instruction dataset size, showing that a larger number of parameters and a larger training dataset do not necessarily result in better performance for PEFT. Lastly, we analyze peak memory usage and trainable parameters to show the efficiency of PEFT. This work provides a comprehensive exploration of PEFT on APR and suggests potentially promising directions for extension to other software engineering downstream tasks. APR-INSTRUCTION, PEFT weights, and the fine-tuning code are publicly available as open-source resources.
• Abstract（参考訳）: 自動プログラム修正(APR)は、パッチを生成することでバグを修正することを目的としている。 既存の研究は、"事前トレーニングと微調整"パラダイムによって、大規模言語モデル(LLM)がAPRの修正機能を改善することを実証している。 しかし、既存の研究は主にAPRのためのフルモデルファインチューニング(FMFT)に焦点を当てており、APRのためのパラメータ効率の高いファインチューニング(PEFT)の実行に基づく評価について限定的な研究がなされている。 FMFTと比較すると、PEFTは性能を損なうことなく計算資源の消費を減らすことができ、他のソフトウェア工学のタスクにも広く採用されている。 このギャップを埋めるために、私たちはプロンプトエンジニアリングを用いて既存のAPRデータセットを強化し、最初は命令データセットであるAPR-INSTRUCTIONを作成しました。 次に,APR-InstructuCTION を用いた4種類のPEFT法を用いて,事前学習した4つのLPMを微調整する。 最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。 また,(IA)^3$は細調整によりLCMのクリエイティビティを向上し,他の3つのPEFT法と比較して高い固定性が得られることを示した。 第3に,PEFTハイパーパラメータの最適設定について検討し,命令データセットサイズの影響について検討し,多数のパラメータとより大きなトレーニングデータセットがPEFTの性能向上に必ずしも寄与しないことを示す。 最後に,ピークメモリ使用量とトレーニング可能なパラメータを分析し,PEFTの効率性を示す。 この研究は、PEFTをAPRで包括的に調査し、他のソフトウェアエンジニアリングの下流タスクに拡張するための有望な方向性を示唆している。 APR-INSTRUCTION、PEFTの重み付け、微調整コードはオープンソースリソースとして公開されている。

関連論文リスト

• Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study [3.5189934649278922]
  GitHub Copilotのような大規模言語モデル(LLM)は、微調整なしで現実世界のタスクに苦労する。 本稿では,LoRA, (IA)3, およびプロンプトチューニングを含む各種PEFT法について検討する。 その結果,PEFT法は単体テスト生成のための完全微調整に匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-04T09:03:18Z)
• BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
  自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。 公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T18:50:46Z)
• Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning [17.032155725171958]
  本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2024-06-06T07:03:29Z)
• ReFT: Representation Finetuning for Language Models [74.51093640257892]
  我々はRepresentation Finetuning(ReFT)手法のファミリーを開発する。 ReFTはフリーズベースモデルで動作し、隠れた表現に対するタスク固有の介入を学ぶ。 我々は,8つの常識推論タスク,4つの算術推論タスク,命令チューニング,GLUEについてLoReFTを紹介する。
  論文  参考訳（メタデータ） (2024-04-04T17:00:37Z)
• Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study [10.052053069122652]
  PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。 トレーニング済みの汎用知識を下流タスクに活用する。 PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
  論文  参考訳（メタデータ） (2024-02-09T08:40:41Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。