論文の概要: To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair
- arxiv url: http://arxiv.org/abs/2606.26978v1
- Date: Thu, 25 Jun 2026 12:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.286043
- Title: To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair
- Title（参考訳）: 実行すべきか否か:LCMによるプログラム修復におけるコード実行のコスト効果の分析
- Abstract要約: 実行には時間がかかり費用もかかるが、プログラム修復エージェントへの影響は未調査のままである。
コード実行は分析されたすべてのエージェントとモデルで使用され、タスク毎に平均8.8のテスト実行が実行される。
現在のエージェントは実行を無差別に適用し、ほとんど利益が得られないインスタンスにコストを支払う。
- 参考スコア（独自算出の注目度）: 18.653708704742353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agents for program repair are increasingly built on a "generate-run-revise" paradigm, iteratively executing tests to evaluate and refine patches. This execution-based approach has become standard practice in state-of-the-art systems. However, executions can be time-consuming and expensive, yet their impact on these agents remains underexplored. In this paper, we conduct a two-stage empirical study over execution behavior in LLM-based program repair. To characterize execution behavior at scale, we first analyze 7,745 agent traces from SWE-bench leaderboard submissions. Second, we evaluate 3,000 end-to-end repair attempts across 200 SWE-bench instances and three agents (Claude Code, Codex, and the open-source OpenCode) under four execution paradigms, which allows for a fine-grained comparison of performance and cost. Our analysis reveals three key observations: (1) Code execution is used across all agents and models analyzed, with an average of 8.8 test runs per task. Execution behavior varies substantially across agents and models, with frequency ranging from 2 to 19 per task, and late-stage executions consistently achieve higher success rates than early-stage ones. (2) Execution restrictions have little effect on repair success: on commercial agents with SOTA models the resolve-rate gap between Prohibited and Unrestricted is only 1.25 percentage points and not statistically significant, while Prohibited saves substantial token and wall-clock cost. (3) Execution benefit is concentrated rather than uniform. These patterns suggest that current agents apply execution indiscriminately, paying its cost on instances where it provides little benefit. Execution, therefore, should be treated as a resource with an explicit cost-benefit tradeoff, not a default capability.
- Abstract（参考訳）: LLMベースのプログラム修復エージェントは、パッチの評価と精査のために反復的にテストを実行する"ジェネレーション・ラン・リビジョン"パラダイムに基づいて、ますます構築されている。
この実行ベースのアプローチは、最先端のシステムでは標準的なプラクティスになっている。
しかし、実行には時間がかかるし費用もかかるが、これらのエージェントへの影響は未調査のままである。
本稿では,LLMによるプログラム修復における実行動作に関する2段階の実証的研究を行う。
まず,SWE-bench のリーダボードからの7,745件のエージェントトレースを解析した。
第2に、200のSWE-benchインスタンスと3つのエージェント(Claude Code、Codex、およびオープンソースのOpenCode)にわたる3000のエンドツーエンドの修復試験を、4つの実行パラダイムで評価し、パフォーマンスとコストのきめ細かい比較を可能にする。
1)コードの実行は、解析されたすべてのエージェントとモデルにまたがって使用され、1タスクあたり平均8.8のテスト実行が実行される。
実行動作はエージェントやモデルによって大きく異なり、タスク毎の頻度は2から19である。
2)SOTAモデルを用いた商業エージェントの場合,禁制と非禁制の差は1.25ポイントに過ぎず,統計的に有意ではない一方,禁制は実質的なトークンと壁時計コストを節約する。
(3)執行利益は均一ではなく集中している。
これらのパターンは、現在のエージェントが実行を無差別に適用し、ほとんど利益が得られないインスタンスにコストを支払うことを示唆している。
したがって実行は、デフォルトの機能ではなく、明確なコスト対利益のトレードオフを持つリソースとして扱われるべきである。
関連論文リスト
- Learning Robust Execution in Robotic Manipulation with Agentic Reinforcement Learning [17.169000876264796]
高レベルの意思決定を通じて効果的な実行を復元するエージェント強化学習フレームワークを提案する。
実行時劣化下では、ロボットが以前訪れた名目状態に回復するための適切な回復メカニズムをトリガーする。
提案手法をLIBEROベンチマークで評価し,最大13.7%の精度向上を実現した。
論文 参考訳（メタデータ） (2026-07-15T13:25:52Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - Failure as a Process: An Anatomy of CLI Coding Agent Trajectories [21.513740407266354]
大規模言語モデル(LLM)コーディングエージェントは、端末ベースの環境でソフトウェアエンジニアリングタスクを自律的に実行するために、ますます多くデプロイされている。
既存の実証研究は、なぜコーディングエージェントが失敗するのかを調査するが、失敗を一時的なプロセスではなく最終的な結果として扱う。
本稿では、CLIコーディングエージェント障害軌跡に関する大規模な実証的研究を行い、プロセス指向のフレームワークを導入し、実行軌跡をまたいだ障害の開始、進化、回復を解析した。
論文 参考訳（メタデータ） (2026-07-10T15:25:56Z) - PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models [50.232333672172395]
VLA(Vision-Language-Action)モデルは、ロボット操作の統一パラダイムを提供するが、実際のデプロイメントは実行効率によってボトルネックになることが多い。
強化学習に基づくポストトレーニングフレームワークである textbfPolicyTrim を提案する。
私たちのフレームワークは、タスクの成功率を損なうことなく、最大5.83$times$エンドツーエンドのデプロイメントスピードアップを提供します。
論文 参考訳（メタデータ） (2026-06-21T14:54:07Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - RubricRefine: Improving Tool-Use Agent Reliability with Training-Free Pre-Execution Refinement [0.36165327398913766]
反復自己複製は、推論時の信頼性技術として人気がある。
しかし、コードモードツールの使用効率はフィードバック信号の構造に大きく依存する。
本稿では,事前実行型セマンティックコントラクト検証のためのトレーニング不要な手法Refineを紹介する。
論文 参考訳（メタデータ） (2026-05-10T19:57:32Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。