論文の概要: Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models
- arxiv url: http://arxiv.org/abs/2308.10462v1
- Date: Mon, 21 Aug 2023 04:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 15:10:52.944427
- Title: Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models
- Title(参考訳): 大規模言語モデルを用いたコード生成のためのパラメータ効率の良い微調整手法の探索
- Authors: Martin Weyssow, Xin Zhou, Kisub Kim, David Lo and Houari Sahraoui
- Abstract要約: 大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられた意味のあるコードスニペットを生成するための印象的な能力を持っている。
これまでの研究は、タスク固有のデータにモデルを微調整するメリットを示してきた。
従来の研究では、微調整をせずに文脈的に適切なコードを生成する効果的な戦略として、インコンテキスト学習(ICL)が検討されていた。
- 参考スコア(独自算出の注目度): 12.708117108874083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) possess impressive capabilities to generate
meaningful code snippets given natural language intents in zero-shot, i.e.,
without the need for specific fine-tuning. In the perspective of unleashing
their full potential, prior work has demonstrated the benefits of fine-tuning
the models to task-specific data. However, fine-tuning process demands heavy
computational costs and is intractable when resources are scarce, especially
for models with billions of parameters. In light of these challenges, previous
studies explored In-Context Learning (ICL) as an effective strategy to generate
contextually appropriate code without fine-tuning. However, it operates at
inference time and does not involve learning task-specific parameters,
potentially limiting the model's performance on downstream tasks. In this
context, we foresee that Parameter-Efficient Fine-Tuning (PEFT) techniques
carry a high potential for efficiently specializing LLMs to task-specific data.
In this paper, we deliver a comprehensive study of LLMs with the impact of PEFT
techniques under the automated code generation scenario. Our experimental
results reveal the superiority and potential of such techniques over ICL on a
wide range of LLMs in reducing the computational burden and improving
performance. Therefore, the study opens opportunities for broader applications
of PEFT in software engineering scenarios.
- Abstract(参考訳): 大型言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられた意味のあるコードスニペットを生成する能力を持っている。
彼らの潜在能力を解き放つという観点から、先行研究は、モデルをタスク固有のデータに微調整する利点を実証してきた。
しかし、微調整プロセスは計算コストが重く、資源が不足している場合、特に数十億のパラメータを持つモデルでは難解である。
これらの課題を踏まえて、過去の研究では、微調整なしで文脈的に適切なコードを生成する効果的な戦略として、インコンテキスト学習(ICL)を探求した。
しかし、推論時に動作し、タスク固有のパラメータの学習を伴わないため、下流タスクでのモデルの性能が制限される可能性がある。
この文脈では、パラメータ効率の良い細調整(PEFT)技術は、タスク固有のデータにLLMを効率的に専門化するための高い可能性を持っている。
本稿では,自動化コード生成シナリオにおけるpeft技術の影響について,llmの総合的な研究を行う。
実験結果から, 計算負荷低減と性能向上のため, 広範囲のLCMにおいてICLよりも優れた技術と可能性を示した。
そこで本研究は,ソフトウェア工学のシナリオにおけるPEFTの幅広い応用の機会を開放する。
関連論文リスト
- Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。
FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
論文 参考訳(メタデータ) (2024-04-15T06:26:08Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Towards Better Parameter-Efficient Fine-Tuning for Large Language
Models: A Position Paper [14.081178100662163]
この論文は差し迫った必要性を浮き彫りにする。
-大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT)
本稿は,現状と今後の研究の必要性を明らかにするものである。
論文 参考訳(メタデータ) (2023-11-22T03:28:34Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of
Large Language Models [75.25782573728677]
本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。
このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。
本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
論文 参考訳(メタデータ) (2023-04-04T16:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。