論文の概要: Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2411.02462v1
• Date: Mon, 04 Nov 2024 09:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:02:17.700501
• Title: Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study
• Title（参考訳）: 単体テスト生成のための大規模言語モデルのパラメータ効率の良い微調整:実証的研究
• Authors: André Storhaug, Jingyue Li,
• Abstract要約: GitHub Copilotのような大規模言語モデル(LLM)は、微調整なしで現実世界のタスクに苦労する。 本稿では,LoRA, (IA)3, およびプロンプトチューニングを含む各種PEFT法について検討する。 その結果,PEFT法は単体テスト生成のための完全微調整に匹敵する性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 3.5189934649278922
• License:
• Abstract: The advent of large language models (LLMs) like GitHub Copilot has significantly enhanced programmers' productivity, particularly in code generation. However, these models often struggle with real-world tasks without fine-tuning. As LLMs grow larger and more performant, fine-tuning for specialized tasks becomes increasingly expensive. Parameter-efficient fine-tuning (PEFT) methods, which fine-tune only a subset of model parameters, offer a promising solution by reducing the computational costs of tuning LLMs while maintaining their performance. Existing studies have explored using PEFT and LLMs for various code-related tasks and found that the effectiveness of PEFT techniques is task-dependent. The application of PEFT techniques in unit test generation remains underexplored. The state-of-the-art is limited to using LLMs with full fine-tuning to generate unit tests. This paper investigates both full fine-tuning and various PEFT methods, including LoRA, (IA)^3, and prompt tuning, across different model architectures and sizes. We use well-established benchmark datasets to evaluate their effectiveness in unit test generation. Our findings show that PEFT methods can deliver performance comparable to full fine-tuning for unit test generation, making specialized fine-tuning more accessible and cost-effective. Notably, prompt tuning is the most effective in terms of cost and resource utilization, while LoRA approaches the effectiveness of full fine-tuning in several cases.
• Abstract（参考訳）: GitHub Copilotのような大規模言語モデル(LLM)の出現は、特にコード生成において、プログラマの生産性を大幅に向上させた。 しかし、これらのモデルはしばしば微調整なしで現実世界のタスクに苦しむ。 LLMが大きくなるにつれて、特殊タスクの微調整がますます高価になる。 モデルパラメータのサブセットのみを微調整するPEFT法は,LCMのチューニングの計算コストを低減し,性能を向上する。 既存の研究では,PEFT と LLM を様々なコード関連タスクに使用することを検討した結果,PEFT 技術の有効性はタスク依存であることが判明した。 単体テスト生成におけるPEFT技術の適用はいまだ未定である。 最先端技術は、完全な微調整で単体テストを生成するLLMに限られている。 本稿では,LoRA, (IA)^3, およびアクシデントチューニングを含む各種PEFT手法について, 異なるモデルアーキテクチャとサイズにまたがって検討する。 確立されたベンチマークデータセットを用いて、単体テスト生成の有効性を評価する。 この結果から,PEFT法は単体テスト生成の完全微調整に匹敵する性能を達成でき,特殊微調整がよりアクセシブルで費用対効果が高いことがわかった。 特に、迅速なチューニングはコストと資源利用の面で最も効果的であるが、LoRAはいくつかのケースで完全な微調整の有効性にアプローチしている。

関連論文リスト

• Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
  Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。 ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
  論文  参考訳（メタデータ） (2024-10-15T16:53:26Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
  事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる 我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。 最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
  論文  参考訳（メタデータ） (2024-06-09T04:42:19Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning [13.616908697637665]
  LLaMA-Reviewerは、コードレビューの領域において、人気のあるLLMであるLLaMAの機能を活用する革新的なフレームワークである。 このフレームワークはパラメータ効率のよい微調整(PEFT)方式を採用し、トレーニング可能なパラメータの1%未満を使用しながら高い性能を実現する。 この分野での継続的な進歩を促進するために、コードとすべてのPEFT軽量プラグインがオープンソース化された。
  論文  参考訳（メタデータ） (2023-08-22T03:10:40Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [12.708117108874083]
  大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。 従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。 本稿では,本論文の総合的研究について述べる。 自動コード生成シナリオにおけるLLMのためのPEFT技術。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。