論文の概要: When Does Restricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation
- arxiv url: http://arxiv.org/abs/2607.10569v1
- Date: Sun, 12 Jul 2026 04:52:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.470763
- Title: When Does Restricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation
- Title（参考訳）: コードエージェントをrestricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation
- Abstract要約: 合成計算タスクとSWE-bench Mini修正タスクにおける3アームアブレーション(ベースライン/bash_only/code_only)の比較を行った。
結果として得られた4つの(登録、エージェント)細胞全体で、エージェントを1つの execute_code MCP ツールに制限することは、最も安価なツールリッチなライバルである -- あるいは統計的に結びついている -- よりも安価である。
唯一の例外はSWE-bench/Claudeである。
- 参考スコア（独自算出の注目度）: 20.672156968511587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern coding agents expose multiple tool surfaces -- IDE primitives, bash, and Model Context Protocol (MCP) code-execution -- and the field has shipped three contradictory claims about which one matters. We run the missing crossed comparison: an integrity-clean three-arm ablation (baseline / bash_only / code_only) on synthetic computation tasks and SWE-bench Mini modification tasks, holding model, harness, and prompts fixed, with two agents (Claude Code, OpenAI Codex CLI) so the comparison spans both regime and agent-design axes. Across the four resulting (regime, agent) cells, restricting the agent to a single execute_code MCP tool is cheaper than -- or statistically tied with -- its cheapest tool-rich rival in three cells (significantly on Artifact/Claude and SWE-bench/Codex; directionally on Artifact/Codex), with pass rates statistically tied within each cell. The lone exception is SWE-bench/Claude, where code_only is directionally costlier (+14.4%, not significant); a conditional-cost analysis localizes that gap to failure-cost on doomed-run trajectories, not a per-edit tax on successful runs. Two implications: the cheapest tool surface is jointly determined by task regime and agent design rather than by either axis alone, and the headline cost signal lives in cache-adjusted cost -- not pass rate, which is invariant across surfaces at the model sizes we evaluate. The benchmark harness, task suite, and analysis code are available at https://github.com/hyang0129/onlycodes.
- Abstract（参考訳）: 現代のコーディングエージェントは、IDEプリミティブ、bash、Model Context Protocol(MCP)のコード実行など、複数のツールサーフェスを公開する。
合成計算タスクとSWE-bench Mini修正タスク、保持モデル、ハーネス、プロンプトに対する整合性クリーンな3腕アブレーション(ベースライン/bash_only / code_only)と2つのエージェント(Claude Code、OpenAI Codex CLI)で、比較はレギュレーションとエージェント設計の両方にまたがる。
結果として得られた4つの(登録、エージェント)細胞全体で、エージェントを1つのexecute_code MCPツールに制限することは、3つの細胞(特にArtifact/ClaudeとSWE-bench/Codex、方向はArtifact/Codex)において最も安価なツールリッチなライバルである -- または統計的に結びついている -- よりも安価である。
唯一の例外はSWE-bench/Claude(英語版)であり、code_only は方向的にコストが高い(+14.4%、重要ではない)。
最も安価なツールサーフェスは、どちらかの軸だけでではなくタスクレギュレーションとエージェント設計によって共同で決定され、ヘッドラインコストシグナルはキャッシュ調整されたコストで存続します。
ベンチマークハーネス、タスクスイート、分析コードはhttps://github.com/hyang0129/onlycodesで公開されている。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - TRIM: Reducing AI-Generated CodeSlop via Agent Trajectory Minimization [57.14479960309637]
コーディングエージェントは、多くの下流タスクでコード生成を加速するためにますます使われています。
その価値にもかかわらず、エージェント生成コードは、対応する人間による実装よりも大きく、冗長である傾向がある。
原因はエージェント自身の検索プロセスにあることを示す。
論文 参考訳（メタデータ） (2026-07-20T17:06:19Z) - Teach it to stop, not just to click [0.0]
修復された政策の成功率は上流の足場に支配されていることを示す。
通常のk-seedレポートのためのライブラリ(cua_reliability)をリリースする。
論文 参考訳（メタデータ） (2026-07-19T08:46:06Z) - To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair [18.653708704742353]
実行には時間がかかり費用もかかるが、プログラム修復エージェントへの影響は未調査のままである。
コード実行は分析されたすべてのエージェントとモデルで使用され、タスク毎に平均8.8のテスト実行が実行される。
現在のエージェントは実行を無差別に適用し、ほとんど利益が得られないインスタンスにコストを支払う。
論文 参考訳（メタデータ） (2026-06-25T12:49:59Z) - Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent [0.13999481573773073]
我々はSWE-PolyBenchとSWE-bench Proに3つのアーム(インデックス付きハーネス、それなしのハーネス、エージェント-コンパレータ)を走らせ、Opus 4.7を固定した。
内部ハーネスアブレーションは、大きなローカライズゲインと統計的に分離されたリゾルゲインを発生させるが、セル当たりのコストペナルティは無く、ソルバ当たりのコストも低い。
従って、構造指標の配置問題は、実行に高すぎるかどうか(種子全体において、インデックスはエージェントよりも低い$/solvedで着陸する)ではなく、構造ランキングが支払われるマルチファイルの変更を含むかどうかである。
論文 参考訳（メタデータ） (2026-06-21T10:10:51Z) - ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。
バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。
エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
論文 参考訳（メタデータ） (2026-06-18T05:58:17Z) - Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks [75.92297551160692]
OpenClawのような汎用エージェントは、自律的なツールユーザとしてますます利用されている。
マルチリンガルなSWEベンチマークおよびアダプタプロトコルであるClaw-SWE-Benchを紹介する。
Claw-SWE-Benchは、SWEスタイルの符号化エージェント評価の第一級軸として、ハーネスとコスト会計を扱う。
論文 参考訳（メタデータ） (2026-06-10T17:16:23Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - LACUNA: Safe Agents as Recursive Program Holes [3.2613419151327343]
LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。
我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。
我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
論文 参考訳（メタデータ） (2026-05-27T15:27:25Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - ClawSafety: "Safe" LLMs, Unsafe Agents [25.729388843970014]
OpenClawのようなパーソナルAIエージェントは、ユーザのローカルマシンで高機能で動作する。
ClawSAFETYは、3次元(ハームドメイン、アタックベクター、有害アクションタイプ)に沿って編成された120の逆テストシナリオのベンチマークである。
各テストケースは、通常の作業中にエージェントが遭遇する3つのチャネルのうちの1つに、相手のコンテンツを埋め込む。
論文 参考訳（メタデータ） (2026-04-01T22:24:24Z) - RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。
エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。
ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
論文 参考訳（メタデータ） (2026-03-11T22:06:44Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。