論文の概要: Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models
- arxiv url: http://arxiv.org/abs/2308.10462v1
- Date: Mon, 21 Aug 2023 04:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 15:10:52.944427
- Title: Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation
with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたコード生成のためのパラメータ効率の良い微調整手法の探索
- Authors: Martin Weyssow, Xin Zhou, Kisub Kim, David Lo and Houari Sahraoui
- Abstract要約: 大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられた意味のあるコードスニペットを生成するための印象的な能力を持っている。
これまでの研究は、タスク固有のデータにモデルを微調整するメリットを示してきた。
従来の研究では、微調整をせずに文脈的に適切なコードを生成する効果的な戦略として、インコンテキスト学習(ICL)が検討されていた。
- 参考スコア（独自算出の注目度）: 12.708117108874083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) possess impressive capabilities to generate
meaningful code snippets given natural language intents in zero-shot, i.e.,
without the need for specific fine-tuning. In the perspective of unleashing
their full potential, prior work has demonstrated the benefits of fine-tuning
the models to task-specific data. However, fine-tuning process demands heavy
computational costs and is intractable when resources are scarce, especially
for models with billions of parameters. In light of these challenges, previous
studies explored In-Context Learning (ICL) as an effective strategy to generate
contextually appropriate code without fine-tuning. However, it operates at
inference time and does not involve learning task-specific parameters,
potentially limiting the model's performance on downstream tasks. In this
context, we foresee that Parameter-Efficient Fine-Tuning (PEFT) techniques
carry a high potential for efficiently specializing LLMs to task-specific data.
In this paper, we deliver a comprehensive study of LLMs with the impact of PEFT
techniques under the automated code generation scenario. Our experimental
results reveal the superiority and potential of such techniques over ICL on a
wide range of LLMs in reducing the computational burden and improving
performance. Therefore, the study opens opportunities for broader applications
of PEFT in software engineering scenarios.
- Abstract（参考訳）: 大型言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられた意味のあるコードスニペットを生成する能力を持っている。
彼らの潜在能力を解き放つという観点から、先行研究は、モデルをタスク固有のデータに微調整する利点を実証してきた。
しかし、微調整プロセスは計算コストが重く、資源が不足している場合、特に数十億のパラメータを持つモデルでは難解である。
これらの課題を踏まえて、過去の研究では、微調整なしで文脈的に適切なコードを生成する効果的な戦略として、インコンテキスト学習(ICL)を探求した。
しかし、推論時に動作し、タスク固有のパラメータの学習を伴わないため、下流タスクでのモデルの性能が制限される可能性がある。
この文脈では、パラメータ効率の良い細調整(PEFT)技術は、タスク固有のデータにLLMを効率的に専門化するための高い可能性を持っている。
本稿では,自動化コード生成シナリオにおけるpeft技術の影響について,llmの総合的な研究を行う。
実験結果から, 計算負荷低減と性能向上のため, 広範囲のLCMにおいてICLよりも優れた技術と可能性を示した。
そこで本研究は,ソフトウェア工学のシナリオにおけるPEFTの幅広い応用の機会を開放する。
関連論文リスト
- Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。
LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文 参考訳（メタデータ） (2024-09-23T01:03:15Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳（メタデータ） (2024-06-19T00:28:58Z) - New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。
しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。
これらの課題に対処するための最近の進歩と研究の方向性について概観する。
論文 参考訳（メタデータ） (2024-06-16T11:56:50Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳（メタデータ） (2024-06-14T19:24:00Z) - Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices [32.61693246340064]
資源制約のある計算環境がパーソナライズされたLLMの設計選択にどのように影響するかを検討する。
いくつかの重要な設計要因のトレードオフと、学習効率と正確性に対するそれらの相互干渉の影響を考察する。
論文 参考訳（メタデータ） (2024-06-06T06:41:53Z) - Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。
FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
論文 参考訳（メタデータ） (2024-04-15T06:26:08Z) - Towards Better Parameter-Efficient Fine-Tuning for Large Language
Models: A Position Paper [14.081178100662163]
この論文は差し迫った必要性を浮き彫りにする。
-大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT)
本稿は,現状と今後の研究の必要性を明らかにするものである。
論文 参考訳（メタデータ） (2023-11-22T03:28:34Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。