論文の概要: PerfAgent: Profiler-Guided Iterative Refinement for Repository-Level Code Optimization
- arxiv url: http://arxiv.org/abs/2607.19653v1
- Date: Wed, 22 Jul 2026 01:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.946202
- Title: PerfAgent: Profiler-Guided Iterative Refinement for Repository-Level Code Optimization
- Title（参考訳）: PerfAgent: リポジトリレベルのコード最適化のためのプロファイラガイド付き反復リファインメント
- Abstract要約: PerfAgentはプロファイラに誘導され、バリデーション・イン・ザ・ループのワークフローで、実際のホットスポットを見つけるのに必要なフィードバックを提供する。
GPT-5.1でOpenHandsにパッチを適用すれば、GSOで19.6%から39.2%、SWE-fficiency-Liteで26%から74%に改善される。
オラクルのベスト・オブ・ファイブのベースラインをはるかに低コストで上回り、テストタイムのサンプリングを増やすよりもフィードバックが良いことが示される。
- 参考スコア（独自算出の注目度）: 8.134365862874384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents now perform well on correctness-oriented repository-level tasks, including SWE-Bench issue resolution and feature implementation in real codebases. However, they still struggle with repository-level code optimization, which requires preserving behavior while improving runtime performance. Passing tests is not enough in this setting; a patch must preserve behavior, implement code optimization, and approach expert speedups. Current agents often miss bottlenecks hidden behind abstraction layers and native extensions, stop after shallow speedups, or insufficiently test the code patches that thus may silently break edge cases. We present PerfAgent, a profiler-guided, verifier-in-the-loop workflow that gives an off-the-shelf coding agent the feedback needed to find real hotspots, improve beyond the first passing patch, and use profiler evidence rather than timing alone to decide what to optimize next. On two challenging optimization benchmarks, GSO and SWE-fficiency-Lite, PerfAgent more than doubles the rate of expert-matching patches over OpenHands with GPT-5.1, improving from 19.6% to 39.2% on GSO and from 26% to 74% on SWE-fficiency-Lite. It also surpasses an oracle best-of-five baseline at substantially lower cost, showing that the gains come from better feedback rather than additional test-time sampling.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、SWE-Bench問題解決や実際のコードベースの機能実装など、正当性指向のリポジトリレベルのタスクでうまく機能する。
しかし、それらは依然としてリポジトリレベルのコードの最適化に苦慮しており、実行時のパフォーマンスを改善しながら、動作を保存する必要がある。
パッチは振る舞いを保存し、コードの最適化を実装し、専門家のスピードアップにアプローチする必要があります。
現在のエージェントは、抽象化レイヤやネイティブ拡張の背後に隠されたボトルネックを見逃したり、浅いスピードアップの後に停止したり、エッジケースを静かに壊す可能性のあるコードパッチを不十分にテストしたりすることが多い。
PerfAgentはプロファイラに誘導された検証済みループワークフローで、実際のホットスポットを見つけるのに必要なフィードバックを与え、最初のパスパッチを超えて改善し、プロファイラエビデンスを使用して、次に何を最適化するかを決める。
GSOとSWE-fficiency-Liteの2つの挑戦的なベンチマークでは、PerfAgentはOpenHands上でGPT-5.1で専門家マッチングパッチのレートを2倍以上にし、GSOでは19.6%から39.2%、SWE-fficiency-Liteでは26%から74%に改善した。
また、オラクルの5分の1のベースラインをはるかに低コストで越え、テストタイムのサンプリングを増やすよりも、フィードバックの質が向上することを示している。
関連論文リスト
- Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文 参考訳（メタデータ） (2026-07-08T08:32:18Z) - Can Coding Agents Implement Missed Compiler Optimizations? Evaluating LLM Agents on LLVM Peephole Optimizations [3.2479630553628156]
実世界の欠落したピープホール最適化からタスクを構築する評価フレームワークであるピープホールベンチを紹介する。
我々は,LLVM の InstCombine パスで欠落したピープホール最適化の修正について,最先端のコーディングエージェントをベンチマークした。
正しさと収益性の間の緊張を観察し、同時に両方の次元において人間開発者と一致するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-07-02T18:25:29Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。
私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文 参考訳（メタデータ） (2025-11-08T17:55:09Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。
ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。
質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
論文 参考訳（メタデータ） (2025-02-06T18:47:49Z) - Thinking Before Running! Efficient Code Generation with Thorough Exploration and Optimal Refinement [47.89758553708932]
textbfThinkCoderは、徹底的な探索と最適な精錬を組み合わせたフレームワークです。
探索フェーズは、潜在的な解を探すことによって解空間を多様化し、続いて精度を高める精製フェーズが続く。
テスト時間計算のオーバーヘッドを最小化するために、Reinforced Self-Training (ReST) を用いた優先駆動最適化を導入する。
論文 参考訳（メタデータ） (2024-12-30T07:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。