論文の概要: CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X

• arxiv url: http://arxiv.org/abs/2303.17568v1
• Date: Thu, 30 Mar 2023 17:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:33:52.410570
• Title: CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X
• Title（参考訳）: CodeGeeX: HumanEval-Xの多言語評価によるコード生成のための事前学習モデル
• Authors: Qinkai Zheng, Xiao Xia, Xu Zou, Yuxiao Dong, Shan Wang, Yufei Xue, Zihan Wang, Lei Shen, Andi Wang, Yang Li, Teng Su, Zhilin Yang, Jie Tang
• Abstract要約: コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。 CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
• 参考スコア（独自算出の注目度）: 45.81982082596839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained code generation models, such as OpenAI Codex, can generate syntax- and function-correct code, making the coding of programmers more productive and our pursuit of artificial general intelligence closer. In this paper, we introduce CodeGeeX, a multilingual model with 13 billion parameters for code generation. CodeGeeX is pre-trained on 850 billion tokens of 23 programming languages as of June 2022. Our extensive experiments suggest that CodeGeeX outperforms multilingual code models of similar scale for both the tasks of code generation and translation on HumanEval-X. Building upon HumanEval (Python only), we develop the HumanEval-X benchmark for evaluating multilingual models by hand-writing the solutions in C++, Java, JavaScript, and Go. In addition, we build CodeGeeX-based extensions on Visual Studio Code, JetBrains, and Cloud Studio, generating 4.7 billion tokens for tens of thousands of active users per week. Our user study demonstrates that CodeGeeX can help to increase coding efficiency for 83.4% of its users. Finally, CodeGeeX is publicly accessible and in Sep. 2022, we open-sourced its code, model weights (the version of 850B tokens), API, extensions, and HumanEval-X at https://github.com/THUDM/CodeGeeX.
• Abstract（参考訳）: openai codexのような、事前学習された大規模なコード生成モデルは、構文と関数の正しいコードを生成することができ、プログラマのコーディングをより生産的にし、人工知能の追求をより近付けます。 本稿では,コード生成のための13億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。 codegeexは2022年6月現在、23のプログラミング言語の8500億トークンで事前トレーニングされている。 我々はCodeGeeXがHumanEval-Xにおけるコード生成タスクと翻訳タスクの両方において、類似スケールの多言語コードモデルより優れていることを示唆した。 HumanEval(Pythonのみ)をベースに、C++、Java、JavaScript、Goのソリューションを手書きすることで、多言語モデルを評価するHumanEval-Xベンチマークを開発しました。 さらに、CodeGeeXベースのエクステンションをVisual Studio Code、JetBrains、Cloud Studio上に構築し、週に数万のアクティブユーザに対して470億のトークンを生成しています。 ユーザ調査によると、codegeexは83.4%のユーザのコーディング効率を向上させるのに役立ちます。 最後に、CodeGeeXは公開されており、2022年9月にコード、モデルウェイト(850Bトークンのバージョン)、API、拡張、HumanEval-Xをhttps://github.com/THUDM/CodeGeeXでオープンソース化しました。

関連論文リスト

• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed methods evaluation [9.915327592560896]
  我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。 CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。 20Kのソースコードファイルのランダムなサンプルでは、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルよりも1.4xと4.1xが改善された。
  論文  参考訳（メタデータ） (2023-05-20T00:45:15Z)
• Code Execution with Pre-trained Language Models [88.04688617516827]
  コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
  論文  参考訳（メタデータ） (2023-05-08T10:00:05Z)
• CodeBERTScore: Evaluating Code Generation with Pretrained Models of Code [75.08995072899594]
  コード生成のための評価指標であるCodeBERTScoreを提案する。 CodeBERTScoreは生成されたコードの前に入力された自然言語をエンコードする。 CodeBERTScoreは、既存のすべての指標よりも、人間の嗜好と機能的正しさとの相関性が高いことがわかった。
  論文  参考訳（メタデータ） (2023-02-10T22:12:05Z)
• Execution-Based Evaluation for Open-Domain Code Generation [81.96731162394445]
  ODEXは、Pythonコード生成データセットの最初のOpen-Domain Executionベースの自然言語(NL)である。 ODEXには79の多様なライブラリにまたがる945のNL-Codeペアと1,707の人間が書いたテストケースがある。 ODEXは英語、スペイン語、日本語、ロシア語の4つの自然言語をインテントとしてサポートしている。
  論文  参考訳（メタデータ） (2022-12-20T17:54:37Z)
• A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
  コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。 現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。 Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。 GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
  論文  参考訳（メタデータ） (2022-02-26T15:53:55Z)
• AugmentedCode: Examining the Effects of Natural Language Resources in Code Retrieval Models [5.112140303263898]
  コード内の既存の情報を活用するAugmented Code(AugmentedCode)検索を導入する。 CodeSearchNet と CodeBERT で平均相反ランク (MRR) が 0.73 と 0.96 で上回る拡張型プログラミング言語の結果を紹介した。
  論文  参考訳（メタデータ） (2021-10-16T08:44:48Z)
• IntelliCode Compose: Code Generation Using Transformer [7.623136583706195]
  汎用多言語コード補完ツールであるIntelliCode Compose $-$を紹介する。 任意の型のコードトークンのシーケンスを予測でき、構文的に正しいコードの行全体を生成することができる。 IntelliCode ComposeはクラウドベースのWebサービスとしてデプロイされる。
  論文  参考訳（メタデータ） (2020-05-16T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。