論文の概要: CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

• arxiv url: http://arxiv.org/abs/2501.01257v2
• Date: Fri, 03 Jan 2025 16:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 12:12:28.989069
• Title: CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings
• Title（参考訳）: CodeElo: ヒューマンコンパラブルエロレーティングによるLLMの競合レベルコード生成のベンチマーク
• Authors: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin,
• Abstract要約: LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。 CodeEloは標準化された競合レベルのコード生成ベンチマークで、これらすべての課題に初めて効果的に対処する。
• 参考スコア（独自算出の注目度）: 70.95565672516979
• License:
• Abstract: With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 25 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.
• Abstract（参考訳）: 既存の大規模言語モデル(LLM)のコード推論能力の増大とOpenAI o1やo3のような推論モデルのブレークスルーにより、高度な競合レベルのコーディング能力を効果的にテストするより困難で包括的なベンチマークを開発する必要性が高まっている。 LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。 このギャップを埋めるために、私たちは、これらすべての課題に初めて効果的に対処する、標準化された競合レベルのコード生成ベンチマークであるCodeEloを紹介します。 CodeEloベンチマークは、主に公式のCodeForcesプラットフォームに基づいており、可能な限りプラットフォームとの整合を図っている。 CodeForcesの最近の6ヶ月のコンテスト問題を、コンテスト分割、問題難度評価、問題アルゴリズムタグなどの詳細な情報でコンパイルする。 本稿では,問題を直接プラットフォームに送信し,プラットフォームに適合する信頼性の高いEloレーティング計算システムの開発を行う。 CodeEloでテストすることで、Eloの30のオープンソースと3つのプロプライエタリなLCMのレーティングを初めて提供します。 その結果、o1-mini と QwQ-32B-Preview はそれぞれ1578 と 1261 の Elo 評価を達成し、他のモデルは最も簡単な問題にも耐えられ、ヒトの参加者の中では最低25%に留まった。 詳細な分析実験も実施され、アルゴリズム間のパフォーマンスやC++とPythonの比較に関する洞察が得られ、今後の研究の方向性が示唆される。

関連論文リスト

• How to Get Your LLM to Generate Challenging Problems for Evaluation [33.625052642068624]
  CHASEは、大規模言語モデルを用いて、難しい問題を合成的に生成する統合フレームワークである。 評価ベンチマークを作成するためにCHASEを実装している。 これらのベンチマークにおける最先端のLCMの性能は、40-60%の精度の範囲にある。
  論文  参考訳（メタデータ） (2025-02-20T16:09:55Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation [28.295580042013547]
  LLMの進行的推論と問題解決能力を評価するための新しいタスクである自己呼び出しコード生成を導入する。 ほとんどのLLMは、HumanEvalやMBPPといった従来のコード生成ベンチマークで優れているが、自己呼び出しタスクのパフォーマンスは低下している。
  論文  参考訳（メタデータ） (2024-12-30T18:58:58Z)
• Simple and Provable Scaling Laws for the Test-Time Compute of Large Language Models [70.07661254213181]
  大規模言語モデルのテスト時間計算のための2つの原理的アルゴリズムを提案する。 理論的には、1つのアルゴリズムの故障確率は、そのテスト時間計算が大きくなるにつれて指数関数的に減衰する。
  論文  参考訳（メタデータ） (2024-11-29T05:29:47Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Can Language Models Solve Olympiad Programming? [40.54366634332231]
  本稿ではUSACOベンチマークについて,USA Computing Olympiadの307の問題点について紹介する。 競争型プログラミングのための様々なLM推論手法を初めて構築・テストする。 GPT-4 は 8.7% パス@1 の精度しか達成していない。
  論文  参考訳（メタデータ） (2024-04-16T23:27:38Z)
• LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code [34.03774442237902]
  コード関連アプリケーションに適用される大規模言語モデルは、顕著な分野として現れている。 既存の評価ベンチマーク(HumanEval、MBPPなど)は、もはやその能力を評価するには不十分である。 コードに対するLLMの包括的で汚染のない評価手法であるLiveCodeBenchを提案する。
  論文  参考訳（メタデータ） (2024-03-12T17:58:04Z)
• Competition-Level Code Generation with AlphaCode [74.87216298566942]
  より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。 Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
  論文  参考訳（メタデータ） (2022-02-08T23:16:31Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。