論文の概要: PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization
- arxiv url: http://arxiv.org/abs/2607.07744v1
- Date: Wed, 08 Jul 2026 08:32:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.283973
- Title: PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization
- Title（参考訳）: PERFOPT-Bench: ソフトウェアパフォーマンス最適化におけるコーディングエージェントの評価
- Abstract要約: パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 18.924749191192433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding-agent benchmarks have largely measured whether agents can produce functionally correct patches, but production software also demands measurable speedups on real execution targets. Performance optimization is a distinct agentic task: agents must profile executions, diagnose cross-layer bottlenecks, edit code without breaking correctness, and verify that gains are reproducible rather than measurement artifacts. We introduce PERFOPT-Bench, a benchmark for evaluating this full performance-engineering loop. Each task provides a correct but deliberately suboptimal codebase and asks the agent to improve a target performance metric; scoring requires hidden correctness tests, verified-speedup measurement, and trajectory-level audit. We evaluate 7 agent stacks with different LLMs and agent frameworks on 7 long-horizon optimization tasks. The results show that optimization performance is workload-dependent rather than determined by model identity alone: no single stack dominates, and changing the agent framework can materially change the same LLM's per-task speedup profile. We further find that raw speedup is unsafe as a benchmark score, since some large gains arise from benchmark-specific shortcut exploitation; an exploratory relay pilot suggests that restarting from an externalized optimization summary can recover additional headroom after an initial session stops. The benchmark and our evaluation are available at: https://anonymous.4open.science/r/Dataset-D3CC.
- Abstract（参考訳）: コードエージェントベンチマークは、エージェントが機能的に正しいパッチを作成できるかどうかを主に測定しているが、本番ソフトウェアは実際の実行目標に対して測定可能なスピードアップを要求する。
エージェントは実行をプロファイル化し、層間ボトルネックを診断し、正確性を損なうことなくコードを編集し、成果物の測定よりも成果物が再現可能であることを確認する。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
各タスクは正しいが故意に最適なコードベースを提供し、エージェントに目標のパフォーマンス指標を改善するよう要求する。
我々は、7つの長期最適化タスクにおいて、異なるLLMとエージェントフレームワークを持つ7つのエージェントスタックを評価した。
その結果、モデル識別だけで決定されるのではなく、最適化性能がワークロードに依存していることが示され、単一のスタックが支配的であり、エージェントフレームワークの変更は、同じLLMのタスク毎のスピードアッププロファイルを実質的に変更することができる。
探索的リレーパイロットは、初期セッションが停止した後、外部最適化の要約から再起動することで、追加のヘッドルームを復元できることを示唆している。
ベンチマークと評価は以下の通りである。 https://anonymous.4open.science/r/Dataset-D3CC。
関連論文リスト
- The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
推論駆動最適化のための統合フレームワークであるReASearchを提案する。
共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。
我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
論文 参考訳（メタデータ） (2026-08-07T02:15:39Z) - PerfAgent: Profiler-Guided Iterative Refinement for Repository-Level Code Optimization [8.134365862874384]
PerfAgentはプロファイラに誘導され、バリデーション・イン・ザ・ループのワークフローで、実際のホットスポットを見つけるのに必要なフィードバックを提供する。
GPT-5.1でOpenHandsにパッチを適用すれば、GSOで19.6%から39.2%、SWE-fficiency-Liteで26%から74%に改善される。
オラクルのベスト・オブ・ファイブのベースラインをはるかに低コストで上回り、テストタイムのサンプリングを増やすよりもフィードバックが良いことが示される。
論文 参考訳（メタデータ） (2026-07-22T01:19:42Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - VeRO: An Evaluation Harness for Agents to Optimize Agents [5.227525836910522]
我々は、バージョン管理されたエージェントスナップショット、予算管理された評価、構造化された実行トレースを備えた再現可能な評価手法であるVERO(Versioning, Rewards, Observations)を紹介する。
本研究では,ターゲットエージェントの比較実験を行い,どの修正がターゲットエージェントの性能を確実に向上させるか分析する。
論文 参考訳（メタデータ） (2026-02-25T23:40:22Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - PerfGuard: A Performance-Aware Agent for Visual Content Generation [53.591105729011595]
PerfGuardは、ビジュアルコンテンツ生成のためのパフォーマンス対応のエージェントフレームワークである。
ツールのパフォーマンス境界をタスク計画とスケジューリングに統合する。
ツール選択の正確性、実行の信頼性、ユーザの意図との整合性にメリットがあります。
論文 参考訳（メタデータ） (2026-01-30T05:12:19Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-11-11T14:57:54Z) - SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。
私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文 参考訳（メタデータ） (2025-11-08T17:55:09Z) - PerfBench: Can Agents Resolve Real-World Performance Bugs? [4.879400115033142]
PerfBenchは、GitHubから81の実際のパフォーマンスバグ修正タスクからなるベンチマークである。
PerfBenchは、エージェントが独自のパフォーマンスベンチマークを生成することができる新しい評価ハーネスを備えている。
OpenHands-Perf-Agentは、パフォーマンスに配慮したツールと命令を組み、ベンチマークで20%の成功率を達成する。
論文 参考訳（メタデータ） (2025-09-28T22:00:33Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。