論文の概要: CodeT: Code Generation with Generated Tests

• arxiv url: http://arxiv.org/abs/2207.10397v1
• Date: Thu, 21 Jul 2022 10:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:27:49.964356
• Title: CodeT: Code Generation with Generated Tests
• Title（参考訳）: CodeT: 生成テストによるコード生成
• Authors: Bei Chen, Fengji Zhang, Anh Nguyen, Daoguang Zan, Zeqi Lin, Jian-Guang Lou, Weizhu Chen
• Abstract要約: テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
• 参考スコア（独自算出の注目度）: 49.622590050797236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a programming problem, pre-trained language models such as Codex have demonstrated the ability to generate multiple different code solutions via sampling. However, selecting a correct or best solution from those samples still remains a challenge. While an easy way to verify the correctness of a code solution is through executing test cases, producing high-quality test cases is prohibitively expensive. In this paper, we explore the use of pre-trained language models to automatically generate test cases, calling our method CodeT: Code generation with generated Tests. CodeT executes the code solutions using the generated test cases, and then chooses the best solution based on a dual execution agreement with both the generated test cases and other generated solutions. We evaluate CodeT on five different pre-trained models with both HumanEval and MBPP benchmarks. Extensive experimental results demonstrate CodeT can achieve significant, consistent, and surprising improvements over previous methods. For example, CodeT improves the pass@1 on HumanEval to 65.8%, an increase of absolute 18.8% on the code-davinci-002 model, and an absolute 20+% improvement over previous state-of-the-art results.
• Abstract（参考訳）: プログラミングの問題から、Codexのような事前訓練された言語モデルは、サンプリングによって複数の異なるコードソリューションを生成する能力を示した。 しかし、これらのサンプルから正しい解または最良の解を選択することは依然として困難である。 コードソリューションの正しさを検証する簡単な方法は、テストケースを実行することですが、高品質のテストケースを作成することは、極めて高価です。 本稿では,事前学習した言語モデルを用いてテストケースを自動的に生成し,そのメソッドをcodet: code generation with generated testsと呼ぶ。 codetは生成したテストケースを使用してコードソリューションを実行し、生成したテストケースと他の生成したソリューションの両方との二重実行合意に基づいて最適なソリューションを選択する。 我々は,HumanEvalおよびMBPPベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。 大規模な実験の結果は、CodeTが以前の方法よりも大きく、一貫性があり、驚くべき改善を達成できることを示している。 例えば、CodeTはHumanEvalのpass@1を65.8%に改善し、code-davinci-002モデルでは絶対18.8%が増加し、過去の最先端結果よりも20%以上改善されている。

関連論文リスト

• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
  TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。 初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。 パラメータは7Bから405Bまで様々である。
  論文  参考訳（メタデータ） (2024-10-01T14:47:05Z)
• AutoTest: Evolutionary Code Solution Selection with Test Cases [1.4582633500696451]
  本研究では,自動テストケース生成とコードソリューション実行を組み合わせた新しい手法であるAutoTestを提案する。 HumanEvalデータセットは164のプログラミング問題で構成されており、AutoTestはpass@1スコアでベースラインメソッドよりも約10%改善されている。
  論文  参考訳（メタデータ） (2024-08-22T04:38:41Z)
• CodeBenchGen: Creating Scalable Execution-based Code Generation Benchmarks [35.68087697258125]
  自然発生のコードソースからスケーラブルな実行ベースのベンチマークを作成するためのフレームワークであるCodeBenchGenを紹介します。 具体的には,大規模言語モデル(LLM)を用いて任意のコード片をサンドボックス化して評価例を作成する。 Exec-CSNにおける例の解決可能性を示すために, 81.3%の例がヒトによって解決可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-31T05:20:53Z)
• Test-Driven Development for Code Generation [0.850206009406913]
  大きな言語モデル(LLM)は、問題ステートメントから直接コードスニペットを生成する重要な機能を示している。 本稿では,テスト駆動開発(TDD)をAI支援コード生成プロセスに組み込む方法について検討する。
  論文  参考訳（メタデータ） (2024-02-21T04:10:12Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Coder Reviewer Reranking for Code Generation [56.80381384717]
  本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。 実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。 Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
  論文  参考訳（メタデータ） (2022-11-29T18:56:33Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• Unit Test Case Generation with Transformers and Focal Context [10.220204860586582]
  AthenaTestは、現実世界の焦点メソッドと開発者が記述したテストケースから学習することで、単体テストケースを生成することを目的としている。 我々は,Javaにおける単体テストケースメソッドとそれに対応する焦点メソッドの並列コーパスとして最大規模で公開されているMethods2Testを紹介する。 AthenaTestを5つの欠陥4jプロジェクトで評価し、30回の試行で焦点メソッドの43.7%をカバーする25Kパステストケースを生成した。
  論文  参考訳（メタデータ） (2020-09-11T18:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。