Fugu-MT 論文翻訳(概要): Evaluating LLMs on Real-World Software Performance Optimization

論文の概要: Evaluating LLMs on Real-World Software Performance Optimization

arxiv url: http://arxiv.org/abs/2606.25530v1
Date: Wed, 24 Jun 2026 08:07:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.272705
Title: Evaluating LLMs on Real-World Software Performance Optimization
Title（参考訳）: リアルタイムソフトウェア性能最適化におけるLCMの評価
Abstract要約: SWE-Proは、オープンソースプロジェクトから102のエキスパートによる最適化から派生した、リポジトリレベルのベンチマークである。以前のベンチマークとは異なり、SWE-Proは各タスクをパラメータ化されたテストと組み合わせて実行時、ピークメモリ、タイムウェイトメモリ使用量を評価する。ランタイムゲインは無視可能であり、メモリ最適化はほとんど存在しない。
参考スコア（独自算出の注目度）: 11.535003393431348
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Software performance optimization is a notoriously complex and manual task. Despite the growing use of Large Language Models (LLMs) for code refinement, we still lack benchmarks that capture how optimization actually happens in real-world codebases. Existing frameworks often oversimplify the problem by focusing on isolated functions or a single performance metric, missing the critical trade-offs between execution time and memory footprint, the inherent noise of the measurement environment, and the variability introduced by different input data and execution conditions. We address this by introducing SWE-Pro, a repository-level benchmark derived from 102 expert-written optimizations from open-source projects. Unlike previous benchmarks, SWE-Pro pairs each task with parameterized tests to evaluate runtime, peak memory, and Time-Weighted Memory Usage (TWMU) across varying input data and execution conditions under noise-aware measurement conditions. Our evaluation shows that current LLMs struggle significantly: runtime gains are negligible, and memory optimizations are nearly non-existent. This stands in sharp contrast to expert implementations, which achieve an aggregate speedup of 15.5x and peak memory reduction of 171.3x over benchmark tasks. Expert-written improvements are observed in 91.2% of tasks for runtime and 65.7% for peak memory. Our findings expose a substantial gap between current LLM capabilities and the demands of expert-level engineering.
Abstract（参考訳）: ソフトウェアパフォーマンスの最適化は、非常に複雑で手作業である。コードの改良にLarge Language Models (LLMs) の利用が増えているにも関わらず、実際のコードベースでどのように最適化が行われるのかをキャプチャするベンチマークはいまだに欠如しています。既存のフレームワークは、分離された関数や単一パフォーマンスメトリクスに注目することで問題を単純化し、実行時間とメモリフットプリントの間に重要なトレードオフ、測定環境固有のノイズ、異なる入力データと実行条件によって導入された変動性を欠いていることが多い。 SWE-Proは、オープンソースプロジェクトから102のエキスパートによる最適化から派生した、リポジトリレベルのベンチマークである。以前のベンチマークとは異なり、SWE-Proは各タスクをパラメータ化テストと組み合わせて実行時、ピークメモリ、TWMU(Time-Weighted Memory Usage)を様々な入力データとノイズ対応測定条件で評価する。ランタイムゲインは無視可能であり,メモリ最適化はほとんど存在しない。これは専門家による実装とは対照的に、15.5倍の高速化と171.3倍のピークメモリ削減を実現している。専門家による改善は、実行時のタスクの91.2%とピークメモリの65.7%で見られる。以上の結果から,現在のLLM能力と専門家レベルの工学的要求との間には,大きなギャップがあることが判明した。

関連論文リスト

Rethinking Code Performance Benchmarks for LLMs [21.32071427130668]
EffiBench、Enamel、EvalPerf、Mercuryの4つの人気のあるベンチマークを再検討する。ベンチマークが提供したテストスイートでは、パフォーマンス実装の6.11%が標準的なソリューションよりもはるかに高速である。本稿では,従来のテストよりも実行時差を効果的に表現する性能指向テストを生成するためのLLMベースのマルチエージェントフレームワークを提案する。
論文参考訳（メタデータ） (2026-07-08T16:36:03Z)
PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文参考訳（メタデータ） (2026-07-08T08:32:18Z)
IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。 IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
論文参考訳（メタデータ） (2026-05-21T08:25:17Z)
The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility [4.514361164656055]
バックエンドのみを選択することで、ベンチマークスコアを最大16.6ポイントシフトできることが示されています。これは、キャッシュやグラフ、カスタムカーネル、ロジット処理におけるエンジン固有のデフォルトなど、システムレベルの最適化によって実現されています。
論文参考訳（メタデータ） (2026-05-19T08:37:27Z)
PerfCodeBench: Benchmarking LLMs for System-Level High-Performance Code Optimization [43.72919370258115]
PerfCodeBenchは、大規模言語モデル(LLM)を高速コード最適化で評価するための実行可能なベンチマークである。このタスクには、システムレベルの実装選択、ハードウェア対応の最適化、パフォーマンスボトルネックの慎重に処理する必要がある。我々の評価は、モデル生成コードと専門家最適化実装の間に明確なギャップがあることを示します。
論文参考訳（メタデータ） (2026-05-13T08:10:26Z)
SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文参考訳（メタデータ） (2025-11-08T17:55:09Z)
MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文参考訳（メタデータ） (2025-10-09T17:53:58Z)
Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
論文参考訳（メタデータ） (2024-06-20T04:35:59Z)
Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning [67.44661423463927]
本稿では,ZOをパラメータの慎重に選択したサブセットにのみ適用するメモリ効率のゼロ階最適化手法であるSparse MeZOを紹介する。その結果,Sparse-MeZO はオーバーヘッドを伴わずに,MeZO 上での性能と収束速度を安定的に向上することを示した。
論文参考訳（メタデータ） (2024-02-24T07:22:04Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)
Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。