論文の概要: HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation

• arxiv url: http://arxiv.org/abs/2412.21199v1
• Date: Mon, 30 Dec 2024 18:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:47.206865
• Title: HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation
• Title（参考訳）: HumanEval ProとMBPP Pro: 自己起動コード生成における大規模言語モデルの評価
• Authors: Zhaojian Yu, Yilun Zhao, Arman Cohan, Xiao-Ping Zhang,
• Abstract要約: LLMの進行的推論と問題解決能力を評価するための新しいタスクである自己呼び出しコード生成を導入する。 ほとんどのLLMは、HumanEvalやMBPPといった従来のコード生成ベンチマークで優れているが、自己呼び出しタスクのパフォーマンスは低下している。
• 参考スコア（独自算出の注目度）: 28.295580042013547
• License:
• Abstract: We introduce self-invoking code generation, a new task designed to evaluate the progressive reasoning and problem-solving capabilities of LLMs. In this task, models are presented with a base problem and a related, more complex problem. They must solve the base problem and then utilize its solution to address the more complex one. This work features three key contributions. First, we propose a general recipe for generating more challenging versions of existing benchmarks, resulting in three new benchmarks: HumanEval Pro, MBPP Pro, and BigCodeBench-Lite Pro, specifically designed to assess LLMs on self-invoking code generation. Second, from the analysis of experimental results over twenty LLMs on our benchmarks, we have two important observations: (i) Most LLMs excel in traditional code generation benchmarks like HumanEval and MBPP, but their performance declines on self-invoking tasks. For example, o1-mini achieves 96.2% pass@1 on HumanEval but only 76.2% on HumanEval Pro. (ii) On self-invoking code generation task, the instruction-tuned models demonstrate only marginal improvements compared to the base models. Third, we disclose the types of failure modes that exist in our evaluation results. All these results underscore the need for further advancements in self-invoking code generation tasks and provide a new direction for future research on enhancing LLMs' code reasoning capabilities.
• Abstract（参考訳）: LLMの進行的推論と問題解決能力を評価するための新しいタスクである自己呼び出しコード生成を導入する。 このタスクでは、モデルには基礎問題と関連するより複雑な問題が提示される。 彼らは基本問題を解き、その解を使ってより複雑な問題に対処しなければならない。 この作品には3つの重要な貢献がある。 まず,HumanEval Pro,MBPP Pro,BigCodeBench-Lite Proの3つのベンチマーク結果から,自己呼び出しコード生成におけるLSMの評価に特化して設計された,既存のベンチマークのより困難なバージョンを生成するための一般的なレシピを提案する。 第2に,20 LLM以上の実験結果の解析から,2つの重要な観察結果を得た。 (i)ほとんどのLLMは、HumanEvalやMBPPといった従来のコード生成ベンチマークに優れていますが、自己呼び出しタスクのパフォーマンスは低下します。 例えば、o1-miniはHumanEvalで96.2%のpass@1を達成するが、HumanEval Proで76.2%しか達成していない。 (ii) 自己呼び出しコード生成タスクでは, 命令調整モデルでは, 基本モデルに比べて限界的な改善しか示さない。 第3に、評価結果に存在する障害モードの種類を明らかにします。 これらの結果は、自己起動型コード生成タスクのさらなる進歩の必要性を浮き彫りにし、将来のLLMのコード推論能力向上に向けた新たな研究の方向性を提供する。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• The RealHumanEval: Evaluating Large Language Models' Abilities to Support Programmers [44.28269395385471]
  既存のベンチマークや、より好ましいLCM応答が、LLMでコーディングする際のプログラマの生産性に変換されるかどうかを調査する。 プログラマを支援するための LLM の能力を測定するための Web インターフェースである RealHumanEval を紹介する。 人間をループに組み込まない静的なベンチマークにもかかわらず、ベンチマークパフォーマンスの改善は、プログラマの生産性を向上させる。
  論文  参考訳（メタデータ） (2024-04-03T15:20:57Z)
• CYCLE: Learning to Self-Refine the Code Generation [19.71833229434497]
  本稿では,CYCLEフレームワークを提案する。 350M, 1B, 2B, 3B のベンチマークで, パラメータ数が異なる CYCLE の4つの変種を実装した。 その結果、CYCLEは一度のコード生成の品質を維持し、時には改善すると同時に、コードLMの自己抑制能力を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T16:45:02Z)
• LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code [34.03774442237902]
  コード関連アプリケーションに適用される大規模言語モデルは、顕著な分野として現れている。 既存の評価ベンチマーク(HumanEval、MBPPなど)は、もはやその能力を評価するには不十分である。 コードに対するLLMの包括的で汚染のない評価手法であるLiveCodeBenchを提案する。
  論文  参考訳（メタデータ） (2024-03-12T17:58:04Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Evaluating Instruction-Tuned Large Language Models on Code Comprehension and Generation [4.310519298899164]
  本研究では,4つの代表的コード理解および生成タスクに対して,オープンソースのLLMを10個評価する。 ゼロショット設定では、命令されたLLMはコード理解と生成タスクに非常に競合する。 数ショット設定では,実演例の追加がLLMの性能向上に有効であることが判明した。
  論文  参考訳（メタデータ） (2023-08-02T15:54:22Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。