論文の概要: An evaluation of LLM code generation capabilities through graded exercises

• arxiv url: http://arxiv.org/abs/2410.16292v1
• Date: Sun, 06 Oct 2024 09:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:41:10.557709
• Title: An evaluation of LLM code generation capabilities through graded exercises
• Title（参考訳）: 等級訓練によるLLM符号生成能力の評価
• Authors: Álvaro Barbero Jiménez,
• Abstract要約: 我々は,8つのプログラミング言語における符号化問題の解法において,1つの最先端モデル(GPT4-o-mini)の性能を新たに評価する。 分析の結果,モデルの成功確率はタスクの難易度と正の相関があることがわかった。 モデル性能の46.6%はタスクの困難に起因する可能性があるが、37.4%はモデルのトレーニングセットへのチャレンジソリューションの漏洩に関連していると思われる。
• 参考スコア（独自算出の注目度）: 0.7070726553564699
• License:
• Abstract: Large Language Models have shown prominent capabilities in generating functional code from natural language descriptions. However, a standardized way to evaluate these capabilities in an objective and unbiased manner is still to be found. In this paper we review the current evaluation methods available to this end, and run a new evaluation of the performance of one state-of-the-art model (GPT4-o-mini) in solving curated coding challenges in 8 programming languages, obtained from Codewars, a software development community. Our analysis shows that the chance of success of the model has a positive correlation with the task difficulty, the popularity of the programming language being used and the time elapsed since the publication of the challenge. A further approximate explanatory analysis in terms of high-level features hints that while 46.6% of the model performance could be attributed to task difficulty, a 37.4% seems to be related to leakage of the challenge solutions into the model training set, while the remaining 16% depends on the programming language. These results suggest that current evaluation methodologies might be overestimating the actual skill of Large Language Models for generating functional code.
• Abstract（参考訳）: 大規模言語モデルは、自然言語記述から関数型コードを生成する際、顕著な能力を示している。 しかし、これらの能力を客観的かつ偏見のない方法で評価するための標準化された方法がまだ見つからない。 本稿では,現在利用可能な評価手法を概観し,ソフトウェア開発コミュニティであるCodewarsから得られた8つのプログラム言語における符号化問題の解法における1つの最先端モデル(GPT4-o-mini)の性能評価を行う。 分析の結果,モデルが成功する確率は,課題の難易度,使用中のプログラミング言語の人気,課題の公表から経過した時間と正の相関関係があることが示唆された。 モデル性能の46.6%はタスクの難しさによる可能性があるが、37.4%はモデルのトレーニングセットへのチャレンジソリューションの漏洩と関連しているようで、残りの16%はプログラミング言語に依存している。 これらの結果から,現在の評価手法は,関数型コードを生成するための大規模言語モデルの実際のスキルを過大評価している可能性が示唆された。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
  我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。 本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T16:50:49Z)
• Exploring the Impact of the Output Format on the Evaluation of Large Language Models for Code Translation [8.81447711370817]
  我々は、11の人気のある命令付き大規模言語モデル(LLM)の出力を経験的に分析する。 この結果から,プロンプトエンジニアリングと正規表現の戦略的組み合わせにより,モデル生成出力からソースコードを効果的に抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T21:41:31Z)
• Language Models for Code Completion: A Practical Evaluation [13.174471984950857]
  本研究は,実世界のコードを完成させる際の3つの公開言語モデルの定量的および定性的な評価を提供する。 1200以上のユーザから1年以上にわたって,実際の自動補完使用データを収集しました。 66.3%の障害はモデルの制限によるものであり、24.4%は開発コンテキストにおける不適切なモデル使用によるものであり、9.3%は開発者が過剰に記述した有効な要求であることがわかった。
  論文  参考訳（メタデータ） (2024-02-25T20:43:55Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Large Language Models in Introductory Programming Education: ChatGPT's Performance and Implications for Assessments [0.16317061277457]
  本稿では,Large Language Models (LLMs) ChatGPT-3.5とGPT-4の性能について検討する。 その結果、94.4から95.8%の正答率と、テキストの説明やプログラムコードの信頼性が示された。
  論文  参考訳（メタデータ） (2023-08-15T19:48:31Z)
• A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
  単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。 プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。 抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-05T19:23:34Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Coder Reviewer Reranking for Code Generation [56.80381384717]
  本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。 実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。 Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
  論文  参考訳（メタデータ） (2022-11-29T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。