論文の概要: AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions
- arxiv url: http://arxiv.org/abs/2508.16402v1
- Date: Fri, 22 Aug 2025 14:04:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-25 16:42:36.403885
- Title: AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions
- Title（参考訳）: AetherCode: プレミアプログラミングコンペティションでLLMが勝つ能力を評価する
- Abstract要約: 競合プログラミングは、LLM(Large Language Models)の推論とコーディング能力を評価するための重要なベンチマークとして登場した。
現在の評価は、LLMとエリートな人間プログラマの間にかなりのギャップを隠蔽する、状態モデル習熟度を超越している、と我々は主張する。
我々は、IOIやI CPCといった主要なプログラミングコンペティションから問題を引き出す新しいベンチマークであるAetherCodeを紹介する。
- 参考スコア（独自算出の注目度）: 37.21656149034477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Competitive programming has emerged as a critical benchmark for evaluating the reasoning and coding capabilities of Large Language Models (LLMs). Despite impressive progress on existing benchmarks, we argue that current evaluations overstate model proficiency, masking a substantial gap between LLMs and elite human programmers. This gap arises from two key limitations: insufficient difficulty and scope of benchmark problems, and evaluation bias from low-quality test cases. To address these shortcomings, we present AetherCode, a new benchmark that draws problems from premier programming competitions such as IOI and ICPC, offering broader coverage and higher difficulty. AetherCode further incorporates comprehensive, expert-validated test suites built through a hybrid of automated generation and human curation, ensuring rigorous and reliable assessment. By combining challenging problem design with robust evaluation, AetherCode provides a more faithful measure of LLM capabilities and sets a new standard for future research in code reasoning.
- Abstract（参考訳）: 競合プログラミングは、LLM(Large Language Models)の推論とコーディング能力を評価するための重要なベンチマークとして登場した。
既存のベンチマークでは目覚ましい進歩があったが、現在の評価はモデル習熟度を上回り、LLMと有能な人間プログラマの間にかなりのギャップを隠していると論じている。
このギャップは、ベンチマーク問題の難しさとスコープの不足、低品質のテストケースによる評価バイアスの2つの重要な制限から生じます。
これらの欠点に対処するため、私たちはIOIやICPCといった主要なプログラミングコンペティションから問題を引き出す新しいベンチマークであるAetherCodeを紹介します。
AetherCodeはさらに、自動生成と人的キュレーションのハイブリッドによって構築された、総合的で専門家公認のテストスイートも組み込まれており、厳格で信頼性の高い評価が保証されている。
挑戦的な問題設計と堅牢な評価を組み合わせることで、AetherCodeはLLMの能力をより忠実に測定し、将来のコード推論研究のための新しい標準を設定します。
関連論文リスト
- Prompt Coverage Adequacy [10.326615143688482]
大規模言語モデル(LLM)と自律エージェントは、ソフトウェア開発における抽象化のレベルを高めます。
このパラダイムシフトは、コードではなくプロンプトが主要な開発アーティファクトになるときに、テストをどのようにガイドすべきかという、新たな課題を導入します。
本稿では,タスク記述から生成されたコードのテストを支援する新しいカバレッジ基準であるPrompt Coverage Adequacyを提案する。
論文 参考訳（メタデータ） (2026-07-02T11:35:39Z) - LLMs in Code Vulnerability Analysis: A Proof of Concept [0.3441021278275805]
従来のソフトウェアセキュリティ分析手法は、現代人の規模や複雑さに合わせたペースを維持するのに苦労している。
本稿では,重要なソフトウェアセキュリティタスクを自動化するために,コード固有および汎用大規模言語モデルの導入について検討する。
論文 参考訳（メタデータ） (2026-01-13T16:16:11Z) - CFCEval: Evaluating Security Aspects in Code Generated by Large Language Models [10.539924362853233]
大規模言語モデル(LLM)が生成するコードの品質とセキュリティを評価するためのフレームワークであるCFCEvalを紹介する。
CFCEvalは、MLVBenchという新しいベンチマークを作成してデータセットバイアスを緩和し、参照コードと生成されたコードとの関連性を評価するために設計された新しいメトリクスであるELRMを組み込んだ。
我々の実験では、CFCEvalは生成されたコードの品質とセキュリティの両方を効果的に捉えているだけでなく、そのELRMがCodeBLEUよりも人間の判断と密接に一致していることが示されている。
論文 参考訳（メタデータ） (2025-12-06T02:20:31Z) - How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。
本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
論文 参考訳（メタデータ） (2025-07-25T12:39:03Z) - Humanity's Last Code Exam: Can Advanced LLMs Conquer Human's Hardest Code Competition? [53.863591321231276]
Humanity's Last Code Exam (HLCE) は、ICPC World Finals (International Collegiate Programming Contest) と International Olympiad in Informatics (IOI) の235の最も難しい問題で構成されている。
HLCEの一部として、完全に再現可能な評価を保証する、調和したオンラインオフラインサンドボックスを設計する。
最強の理由である o4-mini(high) と Gemini-2.5 Pro でさえ,それぞれ 15.9% と 11.4% のパス@1 レートを達成した。
論文 参考訳（メタデータ） (2025-06-15T04:03:31Z) - LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming? [88.29001498765629]
大規模言語モデル(LLM)は、競争力のあるプログラミングにおいてエリート人間より優れています。
我々はこの主張を再考し、LLMが人間の専門家とどのように異なるのか、そしてまだ限界が残っているのかを考察する。
私たちは、Codeforces、ICPC、IOIの問題からなるベンチマークであるLiveCodeBench Proを紹介します。
オリンピアードのメダリストのチームはアルゴリズムカテゴリーのあらゆる問題に注釈を付け、失敗したモデル生成の提出をライン・バイ・ラインで分析する。
論文 参考訳（メタデータ） (2025-06-13T16:29:09Z) - ICPC-Eval: Probing the Frontiers of LLM Reasoning with Competitive Programming Contests [85.72404266850982]
推論のフロンティアを探索するために設計されたトップレベルの競合コーディングベンチマークである textbfICPC-Eval を提案する。
ICPC-Evalは、世界中の各地域で開催されている11のICPCコンテストから、118の慎重にキュレートされた問題を含んでいる。
結果は、複雑な推論能力を評価する上で重要な課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-05T11:20:37Z) - How to Get Your LLM to Generate Challenging Problems for Evaluation [33.625052642068624]
CHASEは、大規模言語モデルを用いて、難しい問題を合成的に生成する統合フレームワークである。
評価ベンチマークを作成するためにCHASEを実装している。
これらのベンチマークにおける最先端のLCMの性能は、40-60%の精度の範囲にある。
論文 参考訳（メタデータ） (2025-02-20T16:09:55Z) - Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
AoPS-Instructは60,000以上の高品質QAペアのデータセットである。
LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。
我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
論文 参考訳（メタデータ） (2025-01-24T06:39:38Z) - CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings [70.95565672516979]
LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。
CodeEloは標準化された競合レベルのコード生成ベンチマークで、これらすべての課題に初めて効果的に対処する。
論文 参考訳（メタデータ） (2025-01-02T13:49:00Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。