論文の概要: OctoPack: Instruction Tuning Code Large Language Models

• arxiv url: http://arxiv.org/abs/2308.07124v1
• Date: Mon, 14 Aug 2023 13:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:19:14.704353
• Title: OctoPack: Instruction Tuning Code Large Language Models
• Title（参考訳）: OctoPack: コード大言語モデルをチューニングするインストラクション
• Authors: Niklas Muennighoff, Qian Liu, Armel Zebaze, Qinkai Zheng, Binyuan Hui, Terry Yue Zhuo, Swayam Singh, Xiangru Tang, Leandro von Werra, Shayne Longpre
• Abstract要約: 命令で大きな言語モデル(LLM)を微調整すると、自然言語タスクのパフォーマンスが大幅に向上する。 コードを使ったインストラクションチューニングを適用し、Gitコミットの自然な構造を活用し、コードと人間の命令をペアで変更する。 我々は、CommitPackを他の自然および合成コード命令と比較し、OpenAI出力で訓練されていないモデル間で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 36.976723055021075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finetuning large language models (LLMs) on instructions leads to vast performance improvements on natural language tasks. We apply instruction tuning using code, leveraging the natural structure of Git commits, which pair code changes with human instructions. We compile CommitPack: 4 terabytes of Git commits across 350 programming languages. We benchmark CommitPack against other natural and synthetic code instructions (xP3x, Self-Instruct, OASST) on the 16B parameter StarCoder model, and achieve state-of-the-art performance among models not trained on OpenAI outputs, on the HumanEval Python benchmark (46.2% pass@1). We further introduce HumanEvalPack, expanding the HumanEval benchmark to a total of 3 coding tasks (Code Repair, Code Explanation, Code Synthesis) across 6 languages (Python, JavaScript, Java, Go, C++, Rust). Our models, OctoCoder and OctoGeeX, achieve the best performance across HumanEvalPack among all permissive models, demonstrating CommitPack's benefits in generalizing to a wider set of languages and natural coding tasks. Code, models and data are freely available at https://github.com/bigcode-project/octopack.
• Abstract（参考訳）: 命令で大きな言語モデル(LLM)を微調整すると、自然言語タスクのパフォーマンスが大幅に向上する。 我々は、コード変更とヒューマンインストラクションを組み合わせるgitコミットの自然な構造を活用して、コードを使った命令チューニングを適用する。 CommitPack:350のプログラミング言語で4テラバイトのGitコミットをコンパイルします。 我々は、HumanEval Pythonベンチマーク(46.2% pass@1)で、CommitPackを16BパラメータStarCoderモデル上の他の自然および合成コード命令(xP3x、Self-Instruct、OASST)と比較し、OpenAI出力でトレーニングされていないモデル間で最先端のパフォーマンスを達成する。 さらに、HumanEvalPackを導入し、HumanEvalベンチマークを6つの言語(Python、JavaScript、Java、Go、C++、Rust)で合計3つのコーディングタスク(コード補完、コード説明、コード合成)に拡張しました。 私たちのモデルであるOctoCoderとOctoGeeXは、すべての許容モデルの中でHumanEvalPackで最高のパフォーマンスを実現し、CommitPackがより広範な言語や自然なコーディングタスクに一般化する利点を実証しています。 コード、モデル、データはhttps://github.com/bigcode-project/octopackで無料で利用できる。

関連論文リスト

• WizardCoder: Empowering Code Large Language Models with Evol-Instruct [67.24653703564492]
  WezardCoderは、複雑な命令の微調整でコードLLMをパワーアップする。 私たちのモデルは、他のすべてのオープンソースコードLLMをかなり上回ります。
  論文  参考訳（メタデータ） (2023-06-14T15:18:48Z)
• StarCoder: may the source be with you! [79.93915935620798]
  BigCodeコミュニティでは、StarCoderとStarCoderBaseを紹介している。 StarCoderBaseは、寛容にライセンスされたGitHubリポジトリの大規模なコレクションであるThe Stackからソースされた1兆のトークンに基づいてトレーニングされている。
  論文  参考訳（メタデータ） (2023-05-09T08:16:42Z)
• CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X [50.008474888951525]
  コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。 CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
  論文  参考訳（メタデータ） (2023-03-30T17:34:01Z)
• CodeBERTScore: Evaluating Code Generation with Pretrained Models of Code [75.08995072899594]
  コード生成のための評価指標であるCodeBERTScoreを提案する。 CodeBERTScoreは生成されたコードの前に入力された自然言語をエンコードする。 CodeBERTScoreは、既存のすべての指標よりも、人間の嗜好と機能的正しさとの相関性が高いことがわかった。
  論文  参考訳（メタデータ） (2023-02-10T22:12:05Z)
• SantaCoder: don't reach for the stars! [27.050410834027705]
  BigCodeプロジェクトは、コードのための大規模言語モデルの責任ある開発に取り組んでいる、オープン・サイエンティフィックなコラボレーションである。 The StackのJava,JavaScript,Pythonサブセットで1.1Bパラメータモデルをトレーニングし,MultiPL-Eのテキスト・トゥ・コードベンチマークで評価する。 私たちの最良のモデルは、MultiPL-EのJava、JavaScript、Pythonの各部分の左から右への生成とインフィルで、以前のオープンソース多言語コード生成モデルより優れています。
  論文  参考訳（メタデータ） (2023-01-09T10:52:35Z)
• A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
  コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。 現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。 Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。 GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
  論文  参考訳（メタデータ） (2022-02-26T15:53:55Z)
• GAP-Gen: Guided Automatic Python Code Generation [3.574838772430975]
  本稿では,Pythonの構文的制約と意味的制約に基づくガイド付き自動Pythonコード生成手法を提案する。 GAP-Genは、Code-to-Docstringデータセットを使用して、トランスフォーマーベースの言語モデルT5とCodeT5を微調整する。 実験の結果,GAP-GenはPythonの自動コード生成タスクにおいて,従来の作業よりも優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-01-19T06:32:47Z)
• Automatic Code Generation using Pre-Trained Language Models [0.0]
  学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。 本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
  論文  参考訳（メタデータ） (2021-02-21T07:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。