論文の概要: Magicoder: Source Code Is All You Need
- arxiv url: http://arxiv.org/abs/2312.02120v1
- Date: Mon, 4 Dec 2023 18:50:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:04:51.733599
- Title: Magicoder: Source Code Is All You Need
- Title(参考訳): Magicoder: ソースコードは必要なだけ
- Authors: Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding, Lingming Zhang
- Abstract要約: Magicoderは、コードのためのLarge Language Models(LLM)シリーズの完全なオープンソース(コード、重み、データ)を紹介します。
MagicoderモデルはOSS-Instructを使って75Kの合成命令データに基づいて訓練される。
MagicoderとMagicoderSはどちらも、幅広いコーディングベンチマークにおいて、類似またはそれ以上の大きさの最先端のコードモデルよりも大幅に優れている。
- 参考スコア(独自算出の注目度): 15.464442858932943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Magicoder, a series of fully open-source (code, weights, and
data) Large Language Models (LLMs) for code that significantly closes the gap
with top code models while having no more than 7B parameters. Magicoder models
are trained on 75K synthetic instruction data using OSS-Instruct, a novel
approach to enlightening LLMs with open-source code snippets to generate
high-quality instruction data for code. Our main motivation is to mitigate the
inherent bias of the synthetic data generated by LLMs by empowering them with a
wealth of open-source references for the production of more diverse, realistic,
and controllable data. The orthogonality of OSS-Instruct and other data
generation methods like Evol-Instruct further enables us to build an enhanced
MagicoderS. Both Magicoder and MagicoderS substantially outperform
state-of-the-art code models with similar or even larger sizes on a wide range
of coding benchmarks, including Python text-to-code generation, multilingual
coding, and data-science program completion. Notably, MagicoderS-CL-7B based on
CodeLlama even surpasses the prominent ChatGPT on HumanEval+ (66.5 vs. 65.9 in
pass@1). Overall, OSS-Instruct opens a new direction for low-bias and
high-quality instruction tuning using abundant open-source references.
- Abstract(参考訳): Magicoderは、コードのための、完全なオープンソース(コード、重み、データ)のシリーズで、7Bパラメータを含まないまま、トップコードモデルとのギャップを著しく埋める大規模言語モデル(LLM)を紹介します。
magicoderモデルは、オープンソースコードスニペットでllmを啓蒙し、コードのための高品質な命令データを生成する新しいアプローチであるoss-instructを使用して、75kの合成命令データに基づいてトレーニングされる。
我々の主な動機は、LLMが生み出す合成データの固有のバイアスを軽減し、より多様で現実的で制御可能なデータを生成するために、豊富なオープンソースリファレンスを彼らに与えることである。
OSS-InstructとEvol-Instructのようなデータ生成メソッドの直交性により、さらに拡張されたMagicoderSを構築することができます。
magicoderとmagicodersはどちらも、pythonのテキスト対コード生成、マルチリンガルコーディング、データサイエンスプログラムの補完など、幅広いコーディングベンチマークにおいて、同等またはそれ以上の大きさの最先端のコードモデルを大幅に上回っている。
特に、CodeLlamaをベースとしたMagicoderS-CL-7Bは、HumanEval+の著名なChatGPT(66.5 vs. 65.9 in pass@1)を超えている。
OSS-Instructは、豊富なオープンソース参照を用いた低バイアスかつ高品質な命令チューニングのための新しい方向を開く。
関連論文リスト
- CodeGRAG: Extracting Composed Syntax Graphs for Retrieval Augmented Cross-Lingual Code Generation [60.799992690487336]
単一ラウンドのコード生成タスクにおいて,LLMの性能を向上させるための構文グラフ検索コード生成(CodeGRAG)を提案する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - Performance-Aligned LLMs for Generating Fast Code [2.180216161965907]
コードLLMの出力と性能を一致させる強化学習に基づく手法を提案する。
我々は,一連のベンチマークタスクのベースモデル上でのコード生成の高速化を,微調整モデルにより改善できることを実証した。
論文 参考訳(メタデータ) (2024-04-29T16:52:38Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳(メタデータ) (2024-04-08T21:15:36Z) - InfiCoder-Eval: Systematically Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiCoder-Evalは、コードのQAベンチマークである。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiCoder-Eval 上で 80 以上のコード LLM に対して,系統的な評価を行い,一連の知見を得た。
論文 参考訳(メタデータ) (2024-03-11T02:06:30Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-10-16T05:09:58Z) - WizardCoder: Empowering Code Large Language Models with Evol-Instruct [67.24653703564492]
WezardCoderは、複雑な命令の微調整でコードLLMをパワーアップする。
私たちのモデルは、他のすべてのオープンソースコードLLMをかなり上回ります。
論文 参考訳(メタデータ) (2023-06-14T15:18:48Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。