論文の概要: Granite Code Models: A Family of Open Foundation Models for Code Intelligence

• arxiv url: http://arxiv.org/abs/2405.04324v1
• Date: Tue, 7 May 2024 13:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:00:34.861796
• Title: Granite Code Models: A Family of Open Foundation Models for Code Intelligence
• Title（参考訳）: Granite Code Models: コードインテリジェンスのためのオープンソースモデルの一家系
• Authors: Mayank Mishra, Matt Stallone, Gaoyuan Zhang, Yikang Shen, Aditya Prasad, Adriana Meza Soria, Michele Merler, Parameswaran Selvam, Saptha Surendran, Shivdeep Singh, Manish Sethi, Xuan-Hong Dang, Pengyuan Li, Kun-Lung Wu, Syed Zawad, Andrew Coleman, Matthew White, Mark Lewis, Raju Pavuluri, Yan Koyfman, Boris Lublinsky, Maximilien de Bayser, Ibrahim Abdelaziz, Kinjal Basu, Mayank Agarwal, Yi Zhou, Chris Johnson, Aanchal Goyal, Hima Patel, Yousaf Shah, Petros Zerfos, Heiko Ludwig, Asim Munawar, Maxwell Crouse, Pavan Kapanipathi, Shweta Salaria, Bob Calio, Sophia Wen, Seetharami Seelam, Brian Belgodere, Carlos Fonseca, Amith Singhee, Nirmit Desai, David D. Cox, Ruchir Puri, Rameswar Panda,
• Abstract要約: コードでトレーニングされた大規模言語モデル(LLM)は、ソフトウェア開発プロセスに革命をもたらしています。 LLMは、人間のプログラマの生産性を向上させるために、ソフトウェア開発環境に統合されています。 コード生成タスクのためのデコーダのみのコードモデルであるGraniteシリーズを紹介する。
• 参考スコア（独自算出の注目度）: 37.946802472358996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) trained on code are revolutionizing the software development process. Increasingly, code LLMs are being integrated into software development environments to improve the productivity of human programmers, and LLM-based agents are beginning to show promise for handling complex tasks autonomously. Realizing the full potential of code LLMs requires a wide range of capabilities, including code generation, fixing bugs, explaining and documenting code, maintaining repositories, and more. In this work, we introduce the Granite series of decoder-only code models for code generative tasks, trained with code written in 116 programming languages. The Granite Code models family consists of models ranging in size from 3 to 34 billion parameters, suitable for applications ranging from complex application modernization tasks to on-device memory-constrained use cases. Evaluation on a comprehensive set of tasks demonstrates that Granite Code models consistently reaches state-of-the-art performance among available open-source code LLMs. The Granite Code model family was optimized for enterprise software development workflows and performs well across a range of coding tasks (e.g. code generation, fixing and explanation), making it a versatile all around code model. We release all our Granite Code models under an Apache 2.0 license for both research and commercial use.
• Abstract（参考訳）: コードでトレーニングされた大規模言語モデル(LLM)は、ソフトウェア開発プロセスに革命をもたらしています。 コードLLMは、人間のプログラマの生産性を向上させるために、ソフトウェア開発環境に統合され、LLMベースのエージェントは、複雑なタスクを自律的に処理する約束を示し始めている。 LLMの完全な可能性を実現するには、コード生成、バグの修正、コードの説明とドキュメント化、リポジトリのメンテナンスなど、幅広い機能が必要です。 本稿では,116のプログラミング言語で記述されたコードで訓練されたコード生成タスクのための,コード生成のためのデコーダのみのコードモデルであるGraniteシリーズを紹介する。 Granite Codeモデルファミリは、複雑なアプリケーションの近代化タスクからオンデバイスメモリ制約のあるユースケースまでのアプリケーションに適した、サイズが3から34億のパラメータから成っている。 包括的なタスクセットの評価は、Granite Codeモデルが利用可能なオープンソースコードLLM間の最先端のパフォーマンスを一貫して達成していることを示している。 Granite Codeモデルファミリは、エンタープライズソフトウェア開発ワークフローに最適化され、コーディングタスク(例えば、コード生成、修正、説明)でうまく機能し、コードモデル全体の汎用性を実現しています。 私たちはすべてのGranite CodeモデルをApache 2.0ライセンスでリリースし、研究と商用の両方で使用しています。

関連論文リスト

• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• Performance-Aligned LLMs for Generating Fast Code [2.180216161965907]
  コードLLMの出力と性能を一致させる強化学習に基づく手法を提案する。 我々は,一連のベンチマークタスクのベースモデル上でのコード生成の高速化を,微調整モデルにより改善できることを実証した。
  論文  参考訳（メタデータ） (2024-04-29T16:52:38Z)
• DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence [42.517055368627226]
  私たちはDeepSeek-Coderシリーズを紹介します。これは、サイズが1.3Bから33Bまでのオープンソースのコードモデルで、2兆トークンでゼロからトレーニングされています。 評価の結果、DeepSeek-Coderは複数のベンチマークでオープンソースのコードモデル間で最先端のパフォーマンスを実現していることがわかった。 DeepSeek-Coderモデルは、調査と制限なしの商用使用の両方を可能にする寛容なライセンス下にある。
  論文  参考訳（メタデータ） (2024-01-25T14:17:53Z)
• WaveCoder: Widespread And Versatile Enhancement For Code Large Language Models By Instruction Tuning [22.44573249705913]
  We present WaveCoder, a series of Code LLMs training with Widespread And Versatile Enhanced instruction data。 複雑なコード関連タスクに対処するために,オープンソースのコードデータセットから多種多様な高品質の命令データを安定して生成する手法を提案する。 実験により、WaveCoderモデルは、異なるコード関連タスク間の一般化能力において、他のオープンソースモデルよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-20T09:02:29Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• StarCoder: may the source be with you! [79.93915935620798]
  BigCodeコミュニティでは、StarCoderとStarCoderBaseを紹介している。 StarCoderBaseは、寛容にライセンスされたGitHubリポジトリの大規模なコレクションであるThe Stackからソースされた1兆のトークンに基づいてトレーニングされている。
  論文  参考訳（メタデータ） (2023-05-09T08:16:42Z)
• A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
  コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。 現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。 Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。 GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
  論文  参考訳（メタデータ） (2022-02-26T15:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。