論文の概要: PerfArena: Ranking LLMs by Code Performance
- arxiv url: http://arxiv.org/abs/2611.18030v1
- Date: Fri, 13 Nov 2026 10:58:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:04.007503
- Title: PerfArena: Ranking LLMs by Code Performance
- Title(参考訳): PerfArena: LLMをコードパフォーマンスでランク付けする
- Abstract要約: PERFARENAは、複数の言語やコンペティションで生成されたコードのパフォーマンスでLLMをランク付けする。
PerFARENAは、各LLMのソリューションをUnixライクなホスト上で実行し、レイテンシ、ピークメモリ、エネルギー消費とともに正確性を報告します。
CLBGComp,Computer Language Benchmarks Gameの10の計算集約ベンチマーク,LeetCodeComp,99のLeetCodeの2つの競合についてPERFARENAを評価した。
- 参考スコア(独自算出の注目度): 0.5708902722746041
- License:
- Abstract: Industry now relies on LLMs to write a large share of production code. Although that code is mostly, but not always, correct, correctness alone does not determine whether it is fit for repeated and extensive use, which depends on what the code costs in time, memory and energy. Most code-generation benchmarks nonetheless evaluate correctness in isolation, and most performance-oriented benchmarks cover few languages and rarely measure energy consumption. To address this gap, we present PERFARENA, an open-source, reproducible arena that ranks LLMs by the performance of their generated code across multiple languages and competitions. PERFARENA executes the solutions of each LLM on a Unix-like host and reports correctness together with latency, peak memory, and energy consumption. Correctness oracles, performance oracles, profilers, and code-generation workflows are pluggable in PERFARENA, enabling the integration of new judging backends and measurement tools without changing the pipeline. We evaluate PERFARENA on two competitions: CLBGComp, 10 compute-intensive benchmarks from the Computer Language Benchmarks Game, and LeetCodeComp, 99 LeetCode problems whose accepted solutions differ measurably in latency. Currently, PERFARENA holds 9,455 correct and measured solutions from 13 state-of-the-art LLMs across 7 programming languages. Across both competitions, got-6-astra is the only LLM that no other LLM beats significantly in latency, energy consumption, or peak memory, solving 99.7% of LeetCodeComp and 100% of CLBGComp. All PERFARENA leaderboards and measured solutions are publicly available, providing a continuously updated reference that helps developers choose an LLM per language and metric, instead of relying only on correctness rates or pricing.
- Abstract(参考訳): 今や産業はLLMに頼り、大量のプロダクションコードを書きます。
そのコードは大部分が、常に正しいとは限らないが、正確性だけでは、コードが時間やメモリ、エネルギに要するコストに依存する、反復的かつ広範囲な使用に適しているかどうかを判断できない。
ほとんどのコード生成ベンチマークは、独立して正しいことを評価しており、ほとんどのパフォーマンス指向ベンチマークは、ほとんど言語をカバーせず、エネルギー消費を測ることは滅多にない。
このギャップに対処するために,複数の言語やコンペティションで生成されたコードのパフォーマンスによってLLMをランク付けする,オープンソースの再現可能なアリーナであるPERFARENAを提案する。
PERFARENA は、各 LLM のソリューションを Unix のようなホスト上で実行し、レイテンシ、ピークメモリ、エネルギー消費とともに正確性を報告する。
PERFARENAでは、正確さのオーラクル、パフォーマンスのオーラクル、プロファイラ、コード生成ワークフローがプラグイン可能であるため、パイプラインを変更することなく、新たな判断バックエンドと測定ツールの統合が可能になる。
CLBGComp,Computer Language Benchmarks Game,LeetCodeComp,99LeetCodeCompの2つの競合についてPERFARENAを評価する。
現在、PERFARENAは、9,455の正解と7つのプログラミング言語にわたる13の最先端のLLMのソリューションを保有している。
両方の競合で、go-6-astraはLLMが遅延、エネルギー消費、ピークメモリで大きく勝っている唯一のLSMであり、LeetCodeCompの99.7%、CLBGCompの100%を解決した。
PERFARENAのすべてのリーダボードと測定されたソリューションが公開されており、開発者が正確性や価格のみに頼るのではなく、言語やメトリックごとのLLMを選択するのに役立つ、継続的に更新された参照を提供する。
関連論文リスト
- An Experimental Study of Real-Life LLM-Proposed Performance Improvements [2.503024366864326]
大きな言語モデル(LLM)はコードを生成することができますが、高速コードを生成することができますか?
我々は,オープンソースのJavaプログラムから抽出した65の実世界のタスクのデータセットを用いて,この問題を研究する。
論文 参考訳(メタデータ) (2025-10-17T10:06:52Z) - The Fools are Certain; the Wise are Doubtful: Exploring LLM Confidence in Code Completion [4.215010577170175]
コードパープレキシティの測定により,コード生成時のLLM(Large Language Models)の信頼性を評価する。
強い型付け言語は動的型付け言語よりも難易度が低いことがわかった。
Perlは難易度が普遍的に高いが、Javaは低いように見える。
論文 参考訳(メタデータ) (2025-08-22T06:51:13Z) - COFFE: A Code Efficiency Benchmark for Code Generation [20.79578698298569]
LLM生成したコードソリューションの時間効率を評価するためのコード生成ベンチマークであるCOFFEを提案する。
COFFEには関数レベルとファイルレベルのコード生成にそれぞれ398と358の問題がある。
時間評価指標として,CPU命令数に基づくefficienct@kを提案する。
論文 参考訳(メタデータ) (2025-02-05T02:08:51Z) - PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。
LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
論文 参考訳(メタデータ) (2024-11-18T06:22:38Z) - InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文 参考訳(メタデータ) (2024-03-11T02:06:30Z) - Mercury: A Code Efficiency Benchmark for Code Large Language Models [41.51235610016959]
我々は、Large Language Models for Code (Code LLMs)の最初のコード効率ベンチマークであるMercuryを提示する。
1,889のPythonタスクで構成され、それぞれに現実の効率のベースラインとして機能する適切なソリューションが伴っている。
そこで我々は,機能的正当性とコード効率を同時に反映する,実行時毎のパススコアを計算する新たな指標Beyondを導入する。
論文 参考訳(メタデータ) (2024-02-12T17:53:22Z) - Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文 参考訳(メタデータ) (2024-02-06T20:38:46Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。