論文の概要: ScenEval: A Benchmark for Scenario-Based Evaluation of Code Generation

• arxiv url: http://arxiv.org/abs/2406.12635v1
• Date: Tue, 18 Jun 2024 14:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:48:22.578292
• Title: ScenEval: A Benchmark for Scenario-Based Evaluation of Code Generation
• Title（参考訳）: ScenEval: シナリオベースのコード生成評価ベンチマーク
• Authors: Debalina Ghosh Paul, Hong Zhu, Ian Bayley,
• Abstract要約: 本稿では,この手法をコード生成のための大規模言語モデルを用いて実証する。 ScenEvalと呼ばれるベンチマークは、教科書、オンラインチュートリアルウェブサイト、Stack Overflowの問題から構築されている。 実験の結果,ChatGPTの性能はコーディングタスクの複雑さによって低下することがわかった。
• 参考スコア（独自算出の注目度）: 4.181146104301203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the scenario-based evaluation of machine learning models, a key problem is how to construct test datasets that represent various scenarios. The methodology proposed in this paper is to construct a benchmark and attach metadata to each test case. Then a test system can be constructed with test morphisms that filter the test cases based on metadata to form a dataset. The paper demonstrates this methodology with large language models for code generation. A benchmark called ScenEval is constructed from problems in textbooks, an online tutorial website and Stack Overflow. Filtering by scenario is demonstrated and the test sets are used to evaluate ChatGPT for Java code generation. Our experiments found that the performance of ChatGPT decreases with the complexity of the coding task. It is weakest for advanced topics like multi-threading, data structure algorithms and recursive methods. The Java code generated by ChatGPT tends to be much shorter than reference solution in terms of number of lines, while it is more likely to be more complex in both cyclomatic and cognitive complexity metrics, if the generated code is correct. However, the generated code is more likely to be less complex than the reference solution if the code is incorrect.
• Abstract（参考訳）: シナリオベースの機械学習モデルの評価において、重要な問題は、さまざまなシナリオを表すテストデータセットを構築する方法である。 本稿では,ベンチマークを構築し,各テストケースにメタデータを付加する手法を提案する。 すると、テストシステムは、メタデータに基づいてテストケースをフィルタリングしてデータセットを形成するテスト型で構築できます。 本稿では,この手法をコード生成のための大規模言語モデルを用いて実証する。 ScenEvalと呼ばれるベンチマークは、教科書、オンラインチュートリアルウェブサイト、Stack Overflowの問題から構築されている。 シナリオによるフィルタリングを実証し、テストセットを使用してJavaコード生成のためのChatGPTを評価する。 実験の結果,ChatGPTの性能はコーディング作業の複雑さによって低下することがわかった。 マルチスレッド、データ構造アルゴリズム、再帰的手法といった先進的なトピックでは最も弱い。 ChatGPTが生成するJavaコードは、行数の観点からは参照ソリューションよりもはるかに短い傾向がありますが、生成されたコードが正しい場合、シクロマティックと認知の複雑さのメトリクスでより複雑になる傾向があります。 しかし、コードが間違っていれば、生成されたコードは参照ソリューションよりも複雑になりがちである。

関連論文リスト

• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
  Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。 これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。 各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
  論文  参考訳（メタデータ） (2024-06-17T14:58:29Z)
• TDD Without Tears: Towards Test Case Generation from Requirements through Deep Reinforcement Learning [22.331330777536046]
  テスト駆動開発(TDD)は、実際のコードを書く前に要件に基づいてテストケースを書くことを義務付ける。 テストケースを書くことはTDDの中心ですが、時間がかかり、コストがかかり、開発者が悩まされることも少なくありません。 PyTesterは、テキストからテストケースを生成するアプローチで、正しい、実行可能な、完全な、効果的なテストケースを自動的に生成します。
  論文  参考訳（メタデータ） (2024-01-15T10:21:58Z)
• REST: Retrieval-Based Speculative Decoding [69.06115086237207]
  本稿では,言語モデル生成の高速化を目的とした新しいアルゴリズムであるRetrieval-Based Speculative Decoding(REST)を紹介する。 投機的復号化のためのドラフト言語モデルに依存する従来の方法とは異なり、RESTは検索の力を利用してドラフトトークンを生成する。 単一バッチ環境で7Bと13Bの言語モデルでベンチマークすると、RESTはコードやテキスト生成において1.62Xから2.36Xの大幅なスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-11-14T15:43:47Z)
• CAT-LM: Training Language Models on Aligned Code And Tests [19.526181671936243]
  テストはソフトウェア開発プロセスにおいて不可欠な部分だ。しかし、テストを書くのに時間がかかり、しばしば無視される。 我々は270億のパラメータを持つGPTスタイルの言語モデルであるAligned Code And Tests Language Model (CAT-LM)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T19:52:22Z)
• Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
  本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。 この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
  論文  参考訳（メタデータ） (2023-07-10T08:20:34Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。