論文の概要: InstructCoder: Instruction Tuning Large Language Models for Code Editing
- arxiv url: http://arxiv.org/abs/2310.20329v3
- Date: Wed, 28 Feb 2024 15:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 18:33:30.769843
- Title: InstructCoder: Instruction Tuning Large Language Models for Code Editing
- Title（参考訳）: instructcoder: コード編集のための大きな言語モデルをチューニングする命令
- Authors: Kaixin Li, Qisheng Hu, Xu Zhao, Hui Chen, Yuxi Xie, Tiedong Liu, Qizhe
Xie, Junxian He
- Abstract要約: ユーザインストラクションに基づいたコード編集にLLM(Large Language Models)を用いる方法について検討する。
InstructCoderは、汎用コード編集にLLMを適用するために設計された最初の命令チューニングデータセットである。
InstructCoderで微調整されたオープンソースのLLMは、コード編集の精度を大幅に向上させることができる。
- 参考スコア（独自算出の注目度）: 26.160498475809266
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Code editing encompasses a variety of pragmatic tasks that developers deal
with daily. Despite its relevance and practical usefulness, automatic code
editing remains an underexplored area in the evolution of deep learning models,
partly due to data scarcity. In this work, we explore the use of Large Language
Models (LLMs) to edit code based on user instructions. Evaluated on a novel
human-written execution-based benchmark dubbed EditEval, we found current
models often struggle to fulfill the instructions. In light of this, we
contribute InstructCoder, the first instruction-tuning dataset designed to
adapt LLMs for general-purpose code editing, containing high-diversity
code-editing tasks such as comment insertion, code optimization, and code
refactoring. It consists of over 114,000 instruction-input-output triplets and
covers multiple distinct code editing scenarios. The collection process starts
with filtered commit data sourced from GitHub Python repositories as seeds.
Subsequently, the dataset is systematically expanded through an iterative
process, where both seed and generated tasks are used to prompt ChatGPT for
more data. Our findings reveal that open-source LLMs fine-tuned on
InstructCoder can significantly enhance the accuracy of code edits, exhibiting
superior code-editing performance matching advanced proprietary LLMs. The
datasets and the source code are publicly available at
https://github.com/qishenghu/CodeInstruct.
- Abstract（参考訳）: コード編集は、開発者が日々扱う様々な実用的なタスクを含んでいる。
その妥当性と実用性にもかかわらず、自動コード編集は、データ不足による深層学習モデルの進化において、まだ未熟な領域である。
本稿では,ユーザ指示に基づくコード編集における大規模言語モデル(llm)の利用について検討する。
editevalと呼ばれる新しい人書き実行ベースのベンチマークで評価した結果、現在のモデルが命令を満たすのに苦労していることが分かりました。
InstructCoderは、汎用コード編集にLLMを適用するために設計された最初のインストラクションチューニングデータセットであり、コメント挿入、コード最適化、コードリファクタリングなどの多種多様なコード編集タスクを含んでいる。
114,000以上の命令入力出力トリプレットで構成され、複数の異なるコード編集シナリオをカバーする。
収集プロセスは、github pythonリポジトリからソースされたフィルタされたコミットデータから始まります。
その後、データセットは反復プロセスを通じて体系的に拡張され、シードタスクと生成タスクの両方を使用して、より多くのデータに対してchatgptを促す。
instructcoderで微調整されたオープンソースのllmは、コード編集の精度を著しく向上させ、高度なプロプライエタリllmに匹敵する優れたコード編集性能を示す。
データセットとソースコードはhttps://github.com/qishenghu/codeinstructで公開されている。
関連論文リスト
- VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。
本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
論文 参考訳（メタデータ） (2024-05-29T16:57:33Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。
コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。
5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
論文 参考訳（メタデータ） (2024-04-04T15:49:49Z) - WaveCoder: Widespread And Versatile Enhancement For Code Large Language Models By Instruction Tuning [22.44573249705913]
We present WaveCoder, a series of Code LLMs training with Widespread And Versatile Enhanced instruction data。
複雑なコード関連タスクに対処するために,オープンソースのコードデータセットから多種多様な高品質の命令データを安定して生成する手法を提案する。
実験により、WaveCoderモデルは、異なるコード関連タスク間の一般化能力において、他のオープンソースモデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-12-20T09:02:29Z) - Can It Edit? Evaluating the Ability of Large Language Models to Follow Code Editing Instructions [6.367360745627828]
コード編集タスクのベンチマークを導入し、それをいくつかの最先端LCMの評価に利用する。
我々の評価は、最先端のオープンモデルとクローズドモデルの間の大きなギャップを露呈する。
我々は、自然言語命令と組み合わされたコード編集タスクの新しい、慎重にキュレートされ、パーミッシブにライセンスされたトレーニングデータセットを導入する。
論文 参考訳（メタデータ） (2023-12-11T02:27:45Z) - Coeditor: Leveraging Contextual Changes for Multi-round Code Auto-editing [57.776971051512234]
本研究では,複数ラウンドのコードの自動編集設定について検討し,その内部の最近の変更に基づいて,コード領域への編集を予測することを目的とした。
我々のモデルであるCoeditorは、コード編集タスクに特化して設計された微調整言語モデルである。
単純化されたシングルラウンドのシングル編集タスクでは、Coeditor は GPT-3.5 と SOTA のオープンソースコード補完モデルを大幅に上回っている。
論文 参考訳（メタデータ） (2023-05-29T19:57:36Z) - GrACE: Generation using Associated Code Edits [23.643567386291988]
プリトレーニング済みの大規模言語モデル(LLM)に,事前の関連編集の知識を付与する。
LLMの生成能力は、コード変更の多様性と、事前編集時のコード生成の条件付けに役立ちます。
Codex と CodeT5 の2つの有名な LLM を,ゼロショット設定と微調整設定でそれぞれ評価した。
論文 参考訳（メタデータ） (2023-05-23T14:55:44Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳（メタデータ） (2023-05-13T14:23:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。