論文の概要: Benchmarking Coding Agents for System-Level Performance Optimization

• arxiv url: http://arxiv.org/abs/2610.29695v1
• Date: Wed, 21 Oct 2026 13:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.367879
• Title: Benchmarking Coding Agents for System-Level Performance Optimization
• Title（参考訳）: システムレベル性能最適化のためのベンチマーク符号化エージェント
• Abstract要約: MicroPerf-Benchは、マイクロサービスシステムにおけるエンドツーエンドのパフォーマンス最適化におけるコーディングエージェントの評価のためのベンチマークである。 実世界のオープンソースシステムに実証的なパフォーマンスアンチパターンを注入することで、この問題に対処する。 1,755回にわたって、9つのエージェントモデル構成をカバーし、最良の構成は、注入されたパフォーマンス劣化の42.0%しか回復しない。
• 参考スコア（独自算出の注目度）: 12.828619213427698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents are becoming an increasingly important paradigm for automating software engineering tasks. However, existing coding benchmarks primarily evaluate agents at the function or repository level, leaving their capabilities in more complex distributed software systems largely unexplored. In practice, many modern applications adopt microservice architectures, where end-to-end performance emerges from interactions among multiple independently running services, requiring agents to reason beyond local code changes. To study this capability, we introduce MicroPerf-Bench, a benchmark for evaluating coding agents on end-to-end performance optimization in microservice systems. Constructing such a benchmark is challenging because reproducible system-level performance fixes are sparse and difficult to attribute. We address this challenge by injecting empirically grounded performance anti-patterns into real-world open-source systems while preserving functionality and ensuring measurable performance degradation. The resulting benchmark contains 65 optimization instances across seven systems and nine anti-patterns, each with an executable environment, functional tests, and mixed-workload evaluation. Across 1,755 runs covering nine agent-model configurations, the best configuration recovers only 42.0% of the injected performance degradation. The dominant failure is not invalid code, but functionally correct and constraint-compliant changes that fail to improve end-to-end performance, highlighting system-level bottleneck localization as a key challenge for current coding agents. The source code and data are available at https://github.com/zyzcjnb/microperf.
• Abstract（参考訳）: コーディングエージェントは、ソフトウェアエンジニアリングタスクを自動化するための重要なパラダイムになりつつある。 しかし、既存のコーディングベンチマークは、主に関数やリポジトリのレベルでエージェントを評価し、より複雑な分散ソフトウェアシステムにその能力を残している。 実際には、多くのモダンアプリケーションはマイクロサービスアーキテクチャを採用しており、エンドツーエンドのパフォーマンスは、複数の独立して実行されるサービス間のインタラクションから生まれ、エージェントはローカルコードの変更を越えて推論する必要がある。 マイクロサービスシステムにおけるエンドツーエンドのパフォーマンス最適化におけるコーディングエージェントの評価ベンチマークであるMicroPerf-Benchを紹介した。 このようなベンチマークの構築は、再現可能なシステムレベルのパフォーマンス修正が不十分で、属性付けが難しいため、難しい。 この課題に対して,実世界のオープンソースシステムに実証的に基盤付けられたパフォーマンスアンチパターンを注入し,機能を維持し,測定可能なパフォーマンス劣化を保証することで対処する。 その結果得られたベンチマークには、7つのシステムに65の最適化インスタンスと9つのアンチパターンが含まれており、それぞれが実行可能な環境、機能テスト、混合ワークロード評価を備えている。 1,755回にわたって、9つのエージェントモデル構成をカバーし、最良の構成は、注入されたパフォーマンス劣化の42.0%しか回復しない。 主な障害は、無効なコードではなく、エンドツーエンドのパフォーマンス向上に失敗する機能的正確で制約に準拠した変更であり、現在のコーディングエージェントにとって重要な課題として、システムレベルのボトルネックローカライゼーションを強調している。 ソースコードとデータはhttps://github.com/zyzcjnb/microperf.comで入手できる。

関連論文リスト

• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• VeriAgent: A Tool-Integrated Multi-Agent System with Evolving Memory for PPA-Aware RTL Code Generation [52.43796056267479]
  高品質なベリログコード生成のためのPPA対応ツール統合マルチエージェントフレームワークを提案する。 当社のフレームワークでは,EDAツールをtextitProgrammer Agent, textitCorrectness Agent, textitPPA Agentで構成されるクローズドループワークフローに明示的に組み込んでいる。 モデル再トレーニングなしに継続的な改善をサポートするために,構造化メモリノードに最適化エクスペリエンスを外部化するtextitEvolved Memory Mechanismを導入する。
  論文  参考訳（メタデータ） (2026-03-18T11:25:40Z)
• Beyond Local Code Optimization: Multi-Agent Reasoning for Software System Optimization [6.321658281654116]
  大規模言語モデルとAIエージェントは、ソフトウェアパフォーマンスの最適化を自動化するという約束を最近示した。 既存のアプローチは主に、ローカルな構文駆動のコードに依存している。 本稿では、制御フローとデータフロー表現をアーキテクチャおよびクロスコンポーネント依存信号と統合するマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T01:21:50Z)
• Process-Level Trajectory Evaluation for Environment Configuration in Software Engineering Agents [71.85020581835042]
  大規模言語モデルベースのエージェントは、ソフトウェアエンジニアリングの約束を示すが、環境構成はボトルネックのままである。 既存のベンチマークでは、エンドツーエンドのビルド/テストの成功のみを評価し、エージェントが成功または失敗する場所と理由を見極めている。 本研究では,環境設定計画中の細粒度エージェントのプロセスレベルの軌道評価を行うEnconda-benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-29T16:59:07Z)
• PerfBench: Can Agents Resolve Real-World Performance Bugs? [4.879400115033142]
  PerfBenchは、GitHubから81の実際のパフォーマンスバグ修正タスクからなるベンチマークである。 PerfBenchは、エージェントが独自のパフォーマンスベンチマークを生成することができる新しい評価ハーネスを備えている。 OpenHands-Perf-Agentは、パフォーマンスに配慮したツールと命令を組み、ベンチマークで20%の成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-28T22:00:33Z)
• SWE-Perf: Can Language Models Optimize Code Performance on Real-World Repositories? [32.67971774793393]
  SWE-Perfは、認証されたリポジトリコンテキスト内のコードパフォーマンス最適化タスクにおいて、LLM(Large Language Models)を評価するために設計された最初のベンチマークである。 SWE-Perfは140の慎重にキュレートされたインスタンスで構成されており、それぞれが人気のあるGitHubリポジトリのパフォーマンス改善プルリクエストに由来する。
  論文  参考訳（メタデータ） (2025-07-16T17:05:17Z)
• ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
  エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。 ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。 質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
  論文  参考訳（メタデータ） (2025-02-06T18:47:49Z)
• An Empirical Study on LLM-based Agents for Automated Bug Fixing [8.660251517380779]
  大規模な言語モデル (LLM) と LLM ベースのエージェントが自動的にバグを修正するために適用されている。 自動バグ修正のためのSWE-bench Verifiedベンチマークにおいて,6つの修復システムについて検討した。
  論文  参考訳（メタデータ） (2024-11-15T14:19:15Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。