論文の概要: MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair

• arxiv url: http://arxiv.org/abs/2408.09568v2
• Date: Mon, 26 Aug 2024 19:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 18:28:54.300909
• Title: MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair
• Title（参考訳）: MergeRepair: 自動プログラム修復のためのコードLLMにおけるタスク特化アダプタの統合に関する探索的研究
• Authors: Meghdad Dehghan, Jie JW Wu, Fatemeh H. Fard, Ali Ouni,
• Abstract要約: 大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで優れたパフォーマンスを示している。 本研究は,Code LLMにおける連続的なマージとマージアダプタの機能について実験的に検討する。
• 参考スコア（独自算出の注目度）: 5.006064616335817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: [Context] Large Language Models (LLMs) have shown good performance in several software development-related tasks such as program repair, documentation, code refactoring, debugging, and testing. Adapters are specialized, small modules designed for parameter efficient fine-tuning of LLMs for specific tasks, domains, or applications without requiring extensive retraining of the entire model. These adapters offer a more efficient way to customize LLMs for particular needs, leveraging the pre-existing capabilities of the large model. Merging LLMs and adapters has shown promising results for various natural language domains and tasks, enabling the use of the learned models and adapters without additional training for a new task. [Objective] This research proposes continual merging and empirically studies the capabilities of merged adapters in Code LLMs, specially for the Automated Program Repair (APR) task. The goal is to gain insights into whether and how merging task-specific adapters can affect the performance of APR. [Method] In our framework, MergeRepair, we plan to merge multiple task-specific adapters using three different merging methods and evaluate the performance of the merged adapter for the APR task. Particularly, we will employ two main merging scenarios for all three techniques, (i) merging using equal-weight averaging applied on parameters of different adapters, where all adapters are of equal importance; and (ii) our proposed approach, continual merging, in which we sequentially merge the task-specific adapters and the order and weight of merged adapters matter. By exploratory study of merging techniques, we will investigate the improvement and generalizability of merged adapters for APR. Through continual merging, we will explore the capability of merged adapters and the effect of task order, as it occurs in real-world software projects.
• Abstract（参考訳）: [コンテキスト]大規模言語モデル(LLM)は、プログラムの修復、ドキュメント、コードリファクタリング、デバッグ、テストなど、いくつかのソフトウェア開発関連のタスクで優れたパフォーマンスを示しています。 アダプタは、特定のタスク、ドメイン、あるいはアプリケーションに対してLLMのパラメータ効率の良い微調整のために、モデル全体を広範囲に再トレーニングすることなく設計された、特殊な小さなモジュールである。 これらのアダプタは、大型モデルの既存の機能を活用して、特定のニーズに合わせてLLMをカスタマイズするより効率的な方法を提供する。 LLMとアダプタを組み合わせることで、さまざまな自然言語ドメインやタスクに対して有望な結果が得られ、学習したモデルやアダプタを新しいタスクのために追加のトレーニングなしで使用することが可能になった。 [目的]本研究は,APR(Automated Program repair)タスクにおいて,コードLLMにおけるマージアダプタの機能について,連続的なマージと実証的研究を提案する。 目標は、タスク固有のアダプタのマージがAPRのパフォーマンスに与える影響について、洞察を得ることである。 [方法]我々のフレームワークであるMergeRepairでは、3つの異なるマージ手法を用いて複数のタスク固有のアダプタをマージし、APRタスクのマージアダプタの性能を評価する計画を立てています。 特に、3つのテクニックすべてに2つの主要なマージシナリオを使用します。 一 すべてのアダプタが同じ重要性を持つ異なるアダプタのパラメータに適用された等重量平均によるマージ i) 提案手法である継続マージでは,タスク固有のアダプタとマージしたアダプタの順序と重みを逐次マージする。 マージ手法の探索的研究により,APR用マージアダプタの改良と一般化性について検討する。 連続的なマージを通じて、実際のソフトウェアプロジェクトで発生するように、マージアダプタの能力とタスク順序の影響について検討する。

関連論文リスト

• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
  本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。 アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
  論文  参考訳（メタデータ） (2024-03-25T17:21:56Z)
• Task-Customized Mixture of Adapters for General Image Fusion [51.8742437521891]
  一般画像融合は、マルチソース画像から重要な情報を統合することを目的としている。 本稿では, 汎用画像融合用アダプタ(TC-MoA)を新たに提案し, 統一モデルにおける様々な融合タスクを適応的に促進する。
  論文  参考訳（メタデータ） (2024-03-19T07:02:08Z)
• Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning [109.25673110120906]
  本稿では,大規模言語モデルにおけるパラメータ効率とモジュール移動学習を統一したオープンソースのライブラリであるAdaptersを紹介する。 10の多様なアダプタメソッドを統一インターフェースに統合することにより、Adaptersは使いやすさとフレキシブルな設定を提供する。
  論文  参考訳（メタデータ） (2023-11-18T13:53:26Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks [37.2958914602899]
  共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。 よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2021-06-08T16:16:40Z)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
  逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。 本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。 提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T07:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。