論文の概要: Code Llama: Open Foundation Models for Code
- arxiv url: http://arxiv.org/abs/2308.12950v3
- Date: Wed, 31 Jan 2024 19:47:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:28:53.761160
- Title: Code Llama: Open Foundation Models for Code
- Title(参考訳): Code Llama: コードのためのオープンファンデーションモデル
- Authors: Baptiste Rozi\`ere, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai
Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Romain Sauvestre, Tal Remez,
J\'er\'emy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish
Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre
D\'efossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas
Usunier, Thomas Scialom, Gabriel Synnaeve
- Abstract要約: 私たちはLlama 2.0をベースにしたコードのための大規模言語モデルのファミリーであるCode Llamaをリリースした。
Code Llamaは、いくつかのコードベンチマークで、オープンモデルの最先端のパフォーマンスに達する。
私たちはCode Llamaをパーミッシブライセンスでリリースし、研究と商用の両方の使用を可能にします。
- 参考スコア(独自算出の注目度): 93.30115424203868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We release Code Llama, a family of large language models for code based on
Llama 2 providing state-of-the-art performance among open models, infilling
capabilities, support for large input contexts, and zero-shot instruction
following ability for programming tasks. We provide multiple flavors to cover a
wide range of applications: foundation models (Code Llama), Python
specializations (Code Llama - Python), and instruction-following models (Code
Llama - Instruct) with 7B, 13B, 34B and 70B parameters each. All models are
trained on sequences of 16k tokens and show improvements on inputs with up to
100k tokens. 7B, 13B and 70B Code Llama and Code Llama - Instruct variants
support infilling based on surrounding content. Code Llama reaches
state-of-the-art performance among open models on several code benchmarks, with
scores of up to 67% and 65% on HumanEval and MBPP, respectively. Notably, Code
Llama - Python 7B outperforms Llama 2 70B on HumanEval and MBPP, and all our
models outperform every other publicly available model on MultiPL-E. We release
Code Llama under a permissive license that allows for both research and
commercial use.
- Abstract(参考訳): Code Llamaは、Llama 2に基づくコードのための大規模言語モデルのファミリーで、オープンモデル間の最先端のパフォーマンス、インフィル機能、大きな入力コンテキストのサポート、プログラミングタスクのゼロショットインストラクションに続く機能を提供します。
ファンデーションモデル(Code Llama)、Pythonの特殊化(Code Llama - Python)、命令追従モデル(Code Llama - Instruct)、それぞれ7B、13B、34B、70Bパラメータを持つ。
すべてのモデルは16kトークンのシーケンスでトレーニングされ、最大10kトークンによる入力の改善を示す。
7B, 13B, 70B Code Llamaと Code Llama - 周辺コンテンツに基づいたインフィルをサポートする命令型。
Code Llamaは、いくつかのコードベンチマークで、HumanEvalとMBPPでそれぞれ67%と65%のスコアで、最先端のパフォーマンスを達成した。
特に、code llama - python 7bはhumanevalとmbppのllama 2 70bよりも優れています。
私たちはCode Llamaをパーミッシブライセンスでリリースし、研究と商用の両方の使用を可能にします。
関連論文リスト
- Granite Code Models: A Family of Open Foundation Models for Code Intelligence [37.946802472358996]
コードでトレーニングされた大規模言語モデル(LLM)は、ソフトウェア開発プロセスに革命をもたらしています。
LLMは、人間のプログラマの生産性を向上させるために、ソフトウェア開発環境に統合されています。
コード生成タスクのためのデコーダのみのコードモデルであるGraniteシリーズを紹介する。
論文 参考訳(メタデータ) (2024-05-07T13:50:40Z) - InfiCoder-Eval: Systematically Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiCoder-Evalは、コードのQAベンチマークである。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiCoder-Eval 上で 80 以上のコード LLM に対して,系統的な評価を行い,一連の知見を得た。
論文 参考訳(メタデータ) (2024-03-11T02:06:30Z) - Executable Code Actions Elicit Better LLM Agents [76.95566120678787]
この研究は、Pythonコードを使用して、Large Language Model(LLM)エージェントのアクションを統一されたアクション空間(CodeAct)に統合することを提案する。
Pythonインタプリタと統合されたCodeActは、コードアクションを実行し、事前アクションを動的に修正したり、マルチターンインタラクションを通じて新しい観察に新しいアクションを発行することができる。
CodeActのパフォーマンス向上は、解釈可能なコードを実行し、自然言語を使ってユーザとコラボレーションすることで、環境と対話するオープンソースのLLMエージェントを構築する動機となります。
論文 参考訳(メタデータ) (2024-02-01T21:38:58Z) - DeepSeek-Coder: When the Large Language Model Meets Programming -- The
Rise of Code Intelligence [42.517055368627226]
私たちはDeepSeek-Coderシリーズを紹介します。これは、サイズが1.3Bから33Bまでのオープンソースのコードモデルで、2兆トークンでゼロからトレーニングされています。
評価の結果、DeepSeek-Coderは複数のベンチマークでオープンソースのコードモデル間で最先端のパフォーマンスを実現していることがわかった。
DeepSeek-Coderモデルは、調査と制限なしの商用使用の両方を可能にする寛容なライセンス下にある。
論文 参考訳(メタデータ) (2024-01-25T14:17:53Z) - PanGu-Coder2: Boosting Large Language Models for Code with Ranking
Feedback [5.459517921633247]
本稿では,コード生成のための事前学習された大規模言語モデルを効果的かつ効率的に向上するRRTF(Rank Responses toaligned Test&Teacher Feedback)フレームワークを提案する。
このフレームワークでは、OpenAI HumanEvalベンチマークで62.20%パス@1を達成したPanGu-Coder2を紹介します。
論文 参考訳(メタデータ) (2023-07-27T15:28:29Z) - WizardCoder: Empowering Code Large Language Models with Evol-Instruct [67.24653703564492]
WezardCoderは、複雑な命令の微調整でコードLLMをパワーアップする。
私たちのモデルは、他のすべてのオープンソースコードLLMをかなり上回ります。
論文 参考訳(メタデータ) (2023-06-14T15:18:48Z) - StarCoder: may the source be with you! [79.93915935620798]
BigCodeコミュニティでは、StarCoderとStarCoderBaseを紹介している。
StarCoderBaseは、寛容にライセンスされたGitHubリポジトリの大規模なコレクションであるThe Stackからソースされた1兆のトークンに基づいてトレーニングされている。
論文 参考訳(メタデータ) (2023-05-09T08:16:42Z) - A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。
現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。
Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。
GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
論文 参考訳(メタデータ) (2022-02-26T15:53:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。