論文の概要: LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code

• arxiv url: http://arxiv.org/abs/2403.07974v1
• Date: Tue, 12 Mar 2024 17:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-14 16:55:06.706299
• Title: LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
• Title（参考訳）: LiveCodeBench: 大規模で完全かつ汚染のない評価 コードのための言語モデル
• Authors: Naman Jain, King Han, Alex Gu, Wen-Ding Li, Fanjia Yan, Tianjun Zhang, Sida Wang, Armando Solar-Lezama, Koushik Sen, Ion Stoica
• Abstract要約: コードに対する大規模言語モデルの包括的で汚染のない評価手法であるLiveCodeBenchを提案する。 LiveCodeBenchは、LeetCode、AtCoder、CodeForcesという3つのコンペティションプラットフォーム間のコンテストから、時間とともに新たな問題を収集している。 本稿では, 汚染, 総合的な性能比較, 既存ベンチマークの過度なオーバーフィット, および個別モデル比較に関する実証的な知見を示す。
• 参考スコア（独自算出の注目度）: 35.05081512740494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) applied to code-related applications have emerged as a prominent field, attracting significant interest from both academia and industry. However, as new and improved LLMs are developed, existing evaluation benchmarks (e.g., HumanEval, MBPP) are no longer sufficient for assessing their capabilities. In this work, we propose LiveCodeBench, a comprehensive and contamination-free evaluation of LLMs for code, which continuously collects new problems over time from contests across three competition platforms, namely LeetCode, AtCoder, and CodeForces. Notably, our benchmark also focuses on a broader range of code related capabilities, such as self-repair, code execution, and test output prediction, beyond just code generation. Currently, LiveCodeBench hosts four hundred high-quality coding problems that were published between May 2023 and February 2024. We have evaluated 9 base LLMs and 20 instruction-tuned LLMs on LiveCodeBench. We present empirical findings on contamination, holistic performance comparisons, potential overfitting in existing benchmarks as well as individual model comparisons. We will release all prompts and model completions for further community analysis, along with a general toolkit for adding new scenarios and model
• Abstract（参考訳）: コード関連アプリケーションに適用される大規模言語モデル(LLM)が目覚ましい分野として現れ、学術と産業の両方から大きな関心を集めている。 しかし、新しいLLMが開発されるにつれて、既存の評価ベンチマーク(例えば、HumanEval、MBPP)は、その能力を評価するのに十分ではない。 本研究では,コードに対するLLMの包括的かつ汚染のない評価であるLiveCodeBenchを提案する。これは,LeetCode,AtCoder,CodeForcesという3つの競合プラットフォームを対象としたコンテストから,時間とともに新たな問題を収集するものだ。 特に、我々のベンチマークは、コード生成だけでなく、自己修復、コード実行、テスト出力予測など、幅広いコード関連機能にも焦点を当てています。 現在、LiveCodeBenchは、2023年5月から2024年2月までに発行された400の高品質なコーディング問題をホストしている。 我々はLiveCodeBench上で,9つの基本LLMと20個の命令調整LDMを評価した。 本稿では, 汚染, 総合的な性能比較, 既存ベンチマークの過度なオーバーフィット, および個別モデル比較に関する実証的な知見を示す。 新たなシナリオとモデルを追加するための汎用ツールキットとともに、コミュニティ分析のためのすべてのプロンプトとモデル補完をリリースします。

関連論文リスト

• ProBench: Benchmarking Large Language Models in Competitive Programming [44.09445715541973]
  競合プログラミングにおける大規模言語モデル(LLM)のベンチマークを行うためにProBenchを提案する。 ProBenchはCodeforces、Luogu、Nowcoderプラットフォームから包括的な競合プログラミング問題を収集している。 我々は,思考連鎖解析,誤り型診断,推論深度評価など,多次元の競合プログラミングにおける9つの最新のLCMを評価した。
  論文  参考訳（メタデータ） (2025-02-28T09:12:42Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings [70.95565672516979]
  LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。 CodeEloは標準化された競合レベルのコード生成ベンチマークで、これらすべての課題に初めて効果的に対処する。
  論文  参考訳（メタデータ） (2025-01-02T13:49:00Z)
• Evaluating and Aligning CodeLLMs on Human Preference [42.26173776584043]
  実世界のコーディングタスクの複雑さと多様性をエミュレートするために,厳密な人為的なベンチマークであるCodeArenaを提案する。 また,大規模合成命令微調整の有効性を検証するために,多種多様な合成命令コーパスSynCode-Instructを提案する。 その結果、実行ベースのベンチマークとCodeArenaのパフォーマンスの違いが判明した。
  論文  参考訳（メタデータ） (2024-12-06T17:40:38Z)
• ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code [29.178248778212588]
  ComplexCodeEvalは、様々な開発タスクで大きな言語モデル(LLM)を評価するために設計されたベンチマークである。 これには、上位のGitHubリポジトリから3,897のJavaサンプルと7,184のPythonサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-09-16T13:43:04Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• LiveBench: A Challenging, Contamination-Free LLM Benchmark [101.21578097087699]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから110Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新されるので、時間とともに新しいタスクとより難しいバージョンのタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)
• Reasoning Runtime Behavior of a Program with LLM: How Far Are We? [25.451857140926943]
  コードのための大規模な言語モデル(LLM)は、強力なコード理解と生成能力を示している。 コード推論は、コードLLMの最も重要な能力の1つである。 本稿では,プログラム実行によるLLMのコード推論能力と一貫性を評価するためのフレームワークであるRevalを提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:37:16Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• The Program Testing Ability of Large Language Models for Code [27.590499335039972]
  CodeXやCodeT5+のようなコードのための大きな言語モデル(LLM)は、コードインテリジェンスを達成する上で大きな可能性を実証しています。 本稿では、これらのモデルの興味深い特性のシリーズを示し、LLMのプログラムテスト能力をいかに改善できるかを示す。
  論文  参考訳（メタデータ） (2023-10-09T13:55:45Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。