論文の概要: PerfCodeBench: Benchmarking LLMs for System-Level High-Performance Code Optimization

• arxiv url: http://arxiv.org/abs/2605.15222v1
• Date: Wed, 13 May 2026 08:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.011516
• Title: PerfCodeBench: Benchmarking LLMs for System-Level High-Performance Code Optimization
• Title（参考訳）: PerfCodeBench: システムレベルの高性能コード最適化のためのLLMのベンチマーク
• Authors: Huihao Jing, Wenbin Hu, Haochen Shi, Hanyu Yang, Sirui Zhang, Shaojin Chen, Haoran Li, Yangqiu Song,
• Abstract要約: PerfCodeBenchは、大規模言語モデル(LLM)を高速コード最適化で評価するための実行可能なベンチマークである。 このタスクには、システムレベルの実装選択、ハードウェア対応の最適化、パフォーマンスボトルネックの慎重に処理する必要がある。 我々の評価は、モデル生成コードと専門家最適化実装の間に明確なギャップがあることを示します。
• 参考スコア（独自算出の注目度）: 43.72919370258115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can often generate functionally correct code, but their ability to produce efficient implementations for performance-critical systems tasks remains limited. Existing code benchmarks mainly emphasize correctness or algorithmic problem solving, while realistic systems-level optimization is still underexplored. To address this gap, we introduce PerfCodeBench, an executable benchmark for evaluating LLMs on high-performance code optimization. The tasks require system-level implementation choices, hardware-aware optimization, and careful handling of performance bottlenecks. Each task includes executable correctness checks, a baseline implementation, and a reference optimized solution. This allows us to evaluate both correctness and runtime-oriented efficiency. Our evaluation on a broad set of state-of-the-art LLMs shows a clear gap between model-generated code and expert-optimized implementations. The gap is especially large on tasks involving parallelism and GPU operations. Current models also show weaknesses in cross-language robustness and in consistently reaching expert-level efficiency. These results suggest that performance-aware evaluation are still needed. LLMs should move beyond generating merely correct code toward producing efficient systems software. We submit the benchmark data, evaluation infrastructure, and complete logs of all LLMs-generated code at https://anonymous.4open.science/r/perfcodebench-7CDE.
• Abstract（参考訳）: 大規模言語モデル(LLM)はしばしば機能的に正しいコードを生成するが、性能クリティカルなシステムタスクの効率的な実装を生成する能力は依然として限られている。 既存のコードベンチマークは主に正確さやアルゴリズムによる問題解決を強調しているが、現実的なシステムレベルの最適化はまだ未調査である。 このギャップに対処するために,高性能コード最適化におけるLCMの評価を行う実行可能なベンチマークであるPerfCodeBenchを紹介する。 このタスクには、システムレベルの実装選択、ハードウェア対応の最適化、パフォーマンスボトルネックの慎重に処理する必要がある。 各タスクには、実行可能な正当性チェック、ベースライン実装、参照最適化ソリューションが含まれる。 これにより、正確性とランタイム指向の効率の両方を評価することができます。 我々は, モデル生成コードとエキスパート最適化実装との間に明確なギャップがあることを, 最先端のLLMの幅広いセットで評価した。 このギャップは、並列処理とGPU操作を含むタスクにおいて特に大きい。 現在のモデルは、言語間の堅牢性や、エキスパートレベルの効率性に一貫して到達する弱点も示しています。 これらの結果から, まだ性能評価が必要であることが示唆された。 LLMは、単に正しいコードを生成することを超えて、効率的なシステムソフトウェアを作るべきである。 ベンチマークデータ、評価インフラストラクチャ、全LLM生成コードの完全なログをhttps://anonymous.4open.science/r/perfcodebench-7CDEに送信する。

関連論文リスト

• FasterPy: An LLM-based Code Execution Efficiency Optimization Framework [11.766544835516974]
  コードはしばしばパフォーマンスのバグに悩まされる。 従来のルールベースのメソッドは、特定のパフォーマンスバグに対するルールを手動で設計し、保守することに依存しています。 我々は,Pythonコードの実行効率を最適化するために,大規模言語モデルを適用するフレームワークであるFasterPyを提案する。
  論文  参考訳（メタデータ） (2025-12-28T07:43:08Z)
• PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。 LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
  論文  参考訳（メタデータ） (2024-11-18T06:22:38Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• DOMAINEVAL: An Auto-Constructed Benchmark for Multi-Domain Code Generation [48.11754113512047]
  この研究には、コード生成ベンチマークデータセットであるDOMAINEVALが含まれており、6つの人気のあるドメインを含んでいる。 私たちのパイプラインは完全に自動化され、コードリポジトリから研究対象のフォーマットへのプッシュボットの構築が可能になります。 本研究のコントリビューションには、コード生成ベンチマークデータセットであるDOMAINEVAL、コードベンチマークを構築するための完全自動化パイプライン、DOMAINEVALのパフォーマンスに基づいたコード生成タスクにおけるLLMの制限の識別が含まれている。
  論文  参考訳（メタデータ） (2024-08-23T16:33:58Z)
• A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark [39.13045037676502]
  大規模言語モデル(LLM)の開発は、プログラム合成のフロンティアを著しく押し上げている。 ほとんどの評価フレームワークは生成したコードの(機能的な)正しさに重点を置いています。 我々は,LLMの効率的なコード生成能力を評価するための厳格で高水準なベンチマークENAMELを開発した。
  論文  参考訳（メタデータ） (2024-06-10T04:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。