Fugu-MT 論文翻訳(概要): Rethinking Code Performance Benchmarks for LLMs

論文の概要: Rethinking Code Performance Benchmarks for LLMs

arxiv url: http://arxiv.org/abs/2607.07619v1
Date: Wed, 08 Jul 2026 16:36:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-09 22:50:30.46362
Title: Rethinking Code Performance Benchmarks for LLMs
Title（参考訳）: LLMのコードパフォーマンスベンチマークを再考する
Abstract要約: EffiBench、Enamel、EvalPerf、Mercuryの4つの人気のあるベンチマークを再検討する。ベンチマークが提供したテストスイートでは、パフォーマンス実装の6.11%が標準的なソリューションよりもはるかに高速である。本稿では,従来のテストよりも実行時差を効果的に表現する性能指向テストを生成するためのLLMベースのマルチエージェントフレームワークを提案する。
参考スコア（独自算出の注目度）: 21.32071427130668
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many function-level performance benchmarks have been proposed to evaluate whether large language models (LLMs) can generate efficient programs. However, results on these benchmarks often show that LLM-generated implementations have little or no execution-time difference from canonical solutions. In this paper, we revisit four popular benchmarks: EffiBench, Enamel, EvalPerf, and Mercury. We evaluate 1,538 tasks under more rigorous setting by running each task 30 times and assessing the runtime differences between the canonical solutions and benchmark-provided performant implementations with statistical testing. With the benchmark-provided test suites, only 6.11% of the performant implementations are significantly faster than the canonical solutions. In a manual analysis of 308 non-significant tasks, 99 performant implementations contain no meaningful performance change, while 209 contain potential performance improvements that are not exposed by the original tests. These results suggest that the main limitation is not only the evaluation method, but also the limited sufficiency of the benchmark-provided performance tests. To address this limitation, we propose an LLM-based multi-agent framework to generate performance-oriented tests that expose runtime differences more effectively than the original tests. The framework uses three separate agents to generate, diagnose, and repair deterministic tests that preserve functional correctness while better exposing performance differences. Across 1,345 benchmark tasks for which the original tests found no significant performance difference, tests generated by our framework with DeepSeek-v3.1 and GPT-4o reveal statistically significant improvements in 24.01% and 25.43% of the tasks, respectively, outperforming the SOTA LLM-based performance test generation method.
Abstract（参考訳）: 大規模言語モデル(LLM)が効率的なプログラムを生成するかどうかを評価するために,多くの関数レベルの性能ベンチマークが提案されている。しかし、これらのベンチマークの結果から、LLM生成実装は標準解と実行時差がほとんど、あるいは全くないことが示された。本稿では、EffiBench、Enamel、EvalPerf、Mercuryの4つの人気のあるベンチマークを再検討する。我々は、各タスクを30回実行し、標準解とベンチマークによる統計的テストによる実行時差を評価することにより、1,538のタスクをより厳密な設定で評価する。ベンチマークが提供したテストスイートでは、パフォーマンス実装の6.11%が標準的なソリューションよりもはるかに高速である。 308の非重要なタスクのマニュアル分析では、99のパフォーマンス実装は意味のあるパフォーマンス変更を含まないが、209はオリジナルのテストで公開されていない潜在的なパフォーマンス改善を含んでいる。これらの結果から, 主な限界は評価方法だけではなく, ベンチマークによる性能試験の有効性にも限界があることが示唆された。この制限に対処するため,従来のテストよりも実行時差を効果的に表現するパフォーマンス指向テストを生成するLLMベースのマルチエージェントフレームワークを提案する。このフレームワークは、3つの別々のエージェントを使用して、機能的正確性を保ちながら、パフォーマンスの違いをよりよく露呈する決定論的テストを生成し、診断し、修復する。 1,345のベンチマークタスクにおいて、最初のテストでは大きなパフォーマンス差が見つからなかったが、私たちのフレームワークが生成したDeepSeek-v3.1とGPT-4oは、それぞれ24.01%と25.43%で統計的に有意な改善を示し、SOTA LLMベースのパフォーマンステスト生成方法を上回った。

関連論文リスト

PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文参考訳（メタデータ） (2026-07-08T08:32:18Z)
Evaluating LLMs on Real-World Software Performance Optimization [11.535003393431348]
SWE-Proは、オープンソースプロジェクトから102のエキスパートによる最適化から派生した、リポジトリレベルのベンチマークである。以前のベンチマークとは異なり、SWE-Proは各タスクをパラメータ化されたテストと組み合わせて実行時、ピークメモリ、タイムウェイトメモリ使用量を評価する。ランタイムゲインは無視可能であり、メモリ最適化はほとんど存在しない。
論文参考訳（メタデータ） (2026-06-24T08:07:41Z)
DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文参考訳（メタデータ） (2026-03-01T16:10:16Z)
Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文参考訳（メタデータ） (2025-11-25T20:37:59Z)
Fluid Language Model Benchmarking [126.92394365620525]
我々は,複数の次元にわたるLMベンチマークを進展させる新しい評価手法であるFluid Benchmarkingを紹介する。サイコメトリックスにインスパイアされたFluid Benchmarkingは、ベンチマーク項目の相対値がLMの能力レベルに依存するという洞察に基づいている。効率性,妥当性,分散性,飽和性の4つの次元を検証した結果,Fluid Benchmarkingがすべてにおいて優れた性能を発揮することがわかった。
論文参考訳（メタデータ） (2025-09-14T05:49:42Z)
Benchmarking LLMs for Unit Test Generation from Real-World Functions [34.70460519870186]
ULT(UnLeakedTestbench)は,実世界のPython関数から関数レベルのユニットテストを生成するために設計された,新しいベンチマークである。 3,909個の関数レベルのタスクを慎重に選択することで、ULTはLLMのテスト生成能力をより現実的で挑戦的な評価を提供する。以上の結果から,ULTはより困難であることが示唆された。
論文参考訳（メタデータ） (2025-08-01T08:08:26Z)
carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks [61.79411281702448]
carpsはComprehensive Automated Research Performance Studiesのベンチマークフレームワークである。我々は、ブラックボックス、マルチオブジェクト、マルチオブジェクト、マルチオブジェクトの4つの重要なタイプのHPOタスクに焦点をあてる。 5つのコミュニティベンチマークコレクションから336のタスクと28種類の9つのファミリーで、私たちはこれまでで最大のGotoライブラリを提供しています。
論文参考訳（メタデータ） (2025-06-06T15:01:39Z)
When Should I Run My Application Benchmark?: Studying Cloud Performance Variability for the Case of Stream Processing Applications [1.3398445165628463]
本稿では,クラウド性能の変動がベンチマーク結果に与える影響を実証的に定量化する。約591時間の試験、AWS上の789クラスタのデプロイ、2366ベンチマークの実行などにより、この種の調査としては最大のものと思われる。
論文参考訳（メタデータ） (2025-04-16T07:22:44Z)
CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文参考訳（メタデータ） (2025-02-12T21:42:56Z)
Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
論文参考訳（メタデータ） (2024-06-20T04:35:59Z)
The Base-Rate Effect on LLM Benchmark Performance: Disambiguating Test-Taking Strategies from Benchmark Performance [0.0]
応答トークン間のベースレート確率(BRP)差が重要であり,タスク性能に影響を及ぼすことを示す。本研究では,MMLUのバリエーションであるNvr-X-MMLUタスクを提案する。
論文参考訳（メタデータ） (2024-06-17T15:14:10Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。