論文の概要: Beyond Code Generation: Assessing Code LLM Maturity with Postconditions

• arxiv url: http://arxiv.org/abs/2407.14118v1
• Date: Fri, 19 Jul 2024 08:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:13:50.066980
• Title: Beyond Code Generation: Assessing Code LLM Maturity with Postconditions
• Title（参考訳）: コード生成を超えて: コードLLM成熟度をポストコンディションで評価する
• Authors: Fusen He, Juan Zhai, Minxue Pan,
• Abstract要約: 本稿では,ポストコンディショニング問題に基づく大規模言語モデルの成熟度モデルを提案する。 EvalPlusデータセットを条件付きテストベンチマークに拡張し、いくつかのオープンソースモデルを評価する。
• 参考スコア（独自算出の注目度）: 9.521621889147362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing code Large Language Model (LLM) benchmarks, e.g., EvalPlus, focus on the code generation tasks. Namely, they contain a natural language description of a problem and ask the LLM to write code to solve the problem. We argue that they do not capture all capabilities needed to assess the quality of a code LLM. In this paper, we propose a code LLM maturity model, based on the postcondition generation problem, to access a more complete set of code LLM capabilities. We choose the postcondition generation problem as it requires the code LLM to understand the code including semantics, natural language, and also have the capability to generate unambiguous postconditions in programming languages (i.e., the generation capablity). Moreover, postconditions have various types, requiring different levels of these capabilities, making it suitable to evaluate the maturity of the code LLM. Based on our designed maturity model, we augment the EvalPlus dataset to a postcondition testing benchmark, and evaluated several open-sourced models. Our results highlight the necessary improvements needed for better LLMs for code. Code: https://github.com/MatureModel/PostcondGen
• Abstract（参考訳）: ほとんどの既存のコードLarge Language Model (LLM)ベンチマーク、例えばEvalPlusは、コード生成タスクに焦点を当てている。 すなわち、問題を自然言語で記述し、LLMにその問題を解決するためにコードを書くように要求する。 コードLLMの品質を評価するのに必要なすべての機能をキャプチャするわけではない、と私たちは主張する。 本稿では,ポストコンディション生成問題に基づくコードLLM成熟度モデルを提案し,より完全なコードLLM機能を実現する。 我々は、意味論、自然言語を含むコードを理解するのに必要なコードLLMと、プログラミング言語(つまり、生成能力)であいまいな後条件を生成する能力を持つため、後条件生成問題を選択する。 さらに、ポストコンディションには様々なタイプがあり、これらの能力のレベルが異なるため、コードLLMの成熟度を評価するのに適している。 設計した成熟度モデルに基づいて,EvalPlusデータセットをポストコンディションテストベンチマークに拡張し,複数のオープンソースモデルを評価した。 我々の結果は、コードのためのより良いLLMに必要な改善点を浮き彫りにした。 コード:https://github.com/MatureModel/PostcondGen

関連論文リスト

• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks [0.8274693573069442]
  この研究は、自動生成されたベンチマークを利用して、LaaJの実装を生成および評価する方法論を導入する。 ベンチマークは、LaaJの開発と検証と、LaaJを使用してLLMコード関連ソリューションの検証とテストの両方に使用される。 私たちのアプローチは、高品質なコードタスクソリューションの作成を可能にします。
  論文  参考訳（メタデータ） (2024-10-28T14:34:36Z)
• Exploring the Capabilities of LLMs for Code Change Related Tasks [14.261870410238643]
  大規模言語モデル(LLM)は、コードに関連するタスクにおいてその効果を示す。 LLMは2つのコードバージョンの違いよりも、一般的なコード構文とセマンティクスに重点を置いている。 我々は,3つのコード変更関連タスクに対して,テキストグレーター1BパラメータLPMを用いた実証的研究を行った。
  論文  参考訳（メタデータ） (2024-07-03T05:49:18Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• Benchmarking the Communication Competence of Code Generation for LLMs and LLM Agent [2.8391355909797644]
  大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。 LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。
  論文  参考訳（メタデータ） (2024-05-31T22:06:18Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code [0.7252027234425334]
  大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。 LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。 本稿では,LLM生成コミュニケータを用いて,問題記述や生成されたコードに対する曖昧さや信頼性の低い問題を識別する通信中心プロセスを提案する。
  論文  参考訳（メタデータ） (2023-08-25T17:33:05Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。