論文の概要: A Systematic Literature Review of Parameter-Efficient Fine-Tuning for Large Code Models

• arxiv url: http://arxiv.org/abs/2504.21569v1
• Date: Tue, 29 Apr 2025 16:19:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 15:49:15.214094
• Title: A Systematic Literature Review of Parameter-Efficient Fine-Tuning for Large Code Models
• Title（参考訳）: 大規模コードモデルのためのパラメータ効率の良いファインチューニングの体系的文献レビュー
• Authors: Md Zahidul Haque, Saima Afrin, Antonio Mastropaolo,
• Abstract要約: コードのための大規模言語モデル(LLM)は、訓練と微調整のためにかなりの計算資源を必要とする。 この問題に対処するため,研究コミュニティは,より効率的なファインチューニング(PEFT)へと移行している。 PEFTは、モデル全体ではなく、パラメータの小さなサブセットだけを更新することで、大きなモデルの適応を可能にする。 本研究は,27件の査読論文から得られた知見を合成し,構成戦略のパターンと適応トレードオフを同定する。
• 参考スコア（独自算出の注目度）: 2.171120568435925
• License:
• Abstract: The rise of Artificial Intelligence (AI)-and particularly Large Language Models (LLMs) for code-has reshaped Software Engineering (SE) by enabling the automation of tasks such as code generation, bug detection, and repair. However, these models require significant computational resources for training and fine-tuning, posing challenges for real-world adoption in resource-constrained environments. To address this, the research community has increasingly turned to Parameter-Efficient Fine-Tuning (PEFT)-a class of techniques that enables the adaptation of large models by updating only a small subset of parameters, rather than the entire model. In this Systematic Literature Review (SLR), we examine the growing application of PEFT techniques-across a wide range of software engineering tasks. We analyze how these methods are used to optimize various deep learning (DL) architectures, focusing on their impact on both performance and efficiency. Our study synthesizes findings from 27 peer-reviewed papers, identifying patterns in configuration strategies and adaptation trade-offs. The outcome of this review is a comprehensive taxonomy that categorizes PEFT usage by task type, distinguishing between generative (e.g., Code Summarization) and non-generative (e.g., Code Clone Detection) scenarios. Our findings aim to inform future research and guide the practical deployment of PEFT in sustainable, AI-powered software development. Our artifacts are publicly available at https://github.com/alvi75/SLR-PEFT
• Abstract（参考訳）: コード生成、バグ検出、修復といったタスクの自動化を可能にすることで、コード駆動のソフトウェアエンジニアリング(SE)を形変えた人工知能(AI)、特に大規模言語モデル(LLM)の台頭。 しかし、これらのモデルは、訓練と微調整のために重要な計算資源を必要とし、資源制約のある環境での現実的な採用に挑戦する。 これを解決するために、研究コミュニティは、モデル全体ではなく、パラメータの小さなサブセットだけを更新することで、大規模モデルの適応を可能にする、パラメータ効率の良いファインチューニング(PEFT)のクラスに目を向けている。 本稿では,ソフトウェア工学タスクの多岐にわたるPEFT技術の適用拡大について,SLR(Systematic Literature Review)について検討する。 我々は、これらの手法が様々なディープラーニング(DL)アーキテクチャの最適化にどのように使われるかを分析し、パフォーマンスと効率の両方に焦点をあてる。 本研究は,27件の査読論文から得られた知見を合成し,構成戦略のパターンと適応トレードオフを同定する。 このレビューの結果は、PEFTの使用をタスクタイプによって分類し、生成的(例えば、コード要約)と非生成的(例えば、コードクローン検出)のシナリオを区別する包括的な分類である。 本研究の目的は,持続可能なAIによるソフトウェア開発におけるPEFTの実践的展開を,今後の研究に通知することである。 私たちのアーティファクトはhttps://github.com/alvi75/SLR-PEFTで公開されています。

関連論文リスト

• A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
  ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。 これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。 本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-04-29T18:18:39Z)
• Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models [16.522696273752835]
  地球観測は、環境変化の監視、災害への対応、天然資源の管理に不可欠である。 基礎モデルにより、リモートセンシング画像解析により、関係する地理情報を正確かつ効率的に取得することができる。 これらのモデルのサイズが大きくなるにつれて、関連する計算資源とコストのために微調整がますます困難になる。
  論文  参考訳（メタデータ） (2025-04-24T09:37:02Z)
• PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models [0.0]
  LLM(Large Language Models)やVLM(Vision Language Models)のような大規模モデルは、人工知能を変革した。 これらのモデルの微調整は高価であり、膨大な計算資源、メモリ、タスク固有のデータを必要とする。 PEFT(Efficient Fine-Tuning)は、少数のパラメータだけを更新することで、大規模なモデルを下流タスクに適応できる有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2025-04-19T00:33:16Z)
• Parameter-Efficient Continual Fine-Tuning: A Survey [5.59258786465086]
  AIの次のブレークスルーは、進化する環境への効率的な適応を可能にすることです。 これらの大規模モデルを効率的に適応させる方法の1つが知られている。 PEFT(Efficient Fine-Tuning)
  論文  参考訳（メタデータ） (2025-04-18T17:51:51Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
  PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。 PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。 本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
  論文  参考訳（メタデータ） (2024-03-21T17:55:50Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。