論文の概要: Termination Lag: Coding Agents Solve Early but Stop Late
- arxiv url: http://arxiv.org/abs/2611.14960v1
- Date: Wed, 11 Nov 2026 03:11:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.995181
- Title: Termination Lag: Coding Agents Solve Early but Stop Late
- Title(参考訳): 終末ラグ:コーディングエージェントは早期に解決するが遅刻する
- Abstract要約: コーディングエージェントは、それに取り組むのをやめる前に、タスクをうまく解決することができる。
エージェントの最初の正しいパッチから実行終了までのステップ数である5つのモデル、2つのエージェントフレームワーク、3つのSWEベンチデータセットを特徴付ける。
- 参考スコア(独自算出の注目度): 7.243327337529763
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents can solve a task well before they stop working on it. We characterize \emph{termination lag}--the number of steps between an agent's first correct patch and the end of its run--across five models, two agent frameworks, and three SWE-bench datasets by recording and testing every distinct repository patch generated during execution. Our analysis reveals that 38--82% of successful runs achieve a correct solution on their initial source-code edit. However, agents continue to expend substantial effort after correct patches, with post-solution steps accounting for a median of 35--37% for Qwen3-Coder and 54--60% for Laguna-XS.2 in successful runs on SWE-bench Verified and Multilingual. Agents spend most of these additional steps verifying their work and exploring the repository. In a small fraction of cases (1--8%), this continued activity leads agents to undo their earlier correct patch, leaving the final solution incorrect.
- Abstract(参考訳): コーディングエージェントは、それに取り組むのをやめる前に、タスクをうまく解決することができる。
エージェントの最初の正しいパッチと実行中の終了までのステップの数を5つのモデル、2つのエージェントフレームワーク、3つのSWE-benchデータセットに分けて記録し、実行中に生成された個々のリポジトリパッチをテストします。
解析の結果,38~82%の動作がソースコードの初期編集において正しい解が得られることがわかった。
しかし、エージェントは修正パッチの後にかなりの努力を続けており、解決後のステップではQwen3-Coderが35--37%、Laguna-XS.2が54--60%、SWE-bench VerifiedとMultilingualが成功した。
エージェントはこれらの追加ステップの大部分を、作業の検証とリポジトリの探索に費やします。
少数のケース(1--8%)では、この連続した活性により、エージェントは以前の正しいパッチを解除し、最終的な解は正しくない。
関連論文リスト
- LAGO: Language Agents with Reusable Growing Options [39.6238385436553]
LAGOは、特殊言語エージェントを時間的に拡張された再利用可能なオプションとして扱う。
メタエージェントは永続ライブラリからオプションを検索するか、新しいものを生成し、サブタスクをディスパッチし、結果を検証し、新しいオプションを成功させる。
論文 参考訳(メタデータ) (2026-10-14T09:12:47Z) - Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder? [10.29059341399134]
コーディングエージェントは時間の経過とともにリポジトリを維持し、各変更がその後のタスクの出発点となる。
エージェント記述のコードがその後のメンテナンスを難しくするのか、コストが継承されたテスト失敗によるものなのか、あるいはコード自体によるものなのかを問う。
我々はSWE-Maintainを紹介し、50の現実のPythonリポジトリから100の3時間メンテナンスエピソードを含む。
論文 参考訳(メタデータ) (2026-10-10T09:45:17Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳(メタデータ) (2026-10-07T17:37:19Z) - Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。
兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。
障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
論文 参考訳(メタデータ) (2026-10-07T13:29:59Z) - Cross-Benchmark Transfer from RL on Agentic Coding Tasks [0.13579757545152057]
多くの場合、コーディングエージェントは最後の1マイルで失敗する。機能の大部分を構築し、要件をドロップし、実装がすでに処理しているケースのみをテストし、無傷であるはずの動作を壊したり、未確認の仮定に対して検証する。
専門家が構築したエージェントコーディングタスクの強化学習がこのギャップを埋めるか、エージェントが学習するものがトレーニング分布を超えるのかを問う。
我々は,隠れフェール・ツー・パステストとパス・ツー・パステストによって評価された1,700のタスクと,専門家が書いた隠れバリデーションによって評価された700の端末タスクについて,Kim K2.7コードをポストトレーニングした。
論文 参考訳(メタデータ) (2026-10-01T01:12:24Z) - Thinking Before Thinking: Scaling Agentic Inference Through Meta-Reasoning [104.97890382020937]
エージェントメタ推論は,制御選択を明示的かつ構造化する推論時ハーネスである。
ワーカーはタスクレベルの計算を実行し、コントローラは実行が確立したものを統合する。
決定の間、コントローラはその全履歴を再生するのではなく、実行時のコンパクトな説明しか持たない。
論文 参考訳(メタデータ) (2026-09-29T17:57:25Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳(メタデータ) (2026-09-08T17:53:37Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳(メタデータ) (2026-07-21T06:21:13Z) - When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。
一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。
この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2026-02-12T06:15:14Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18~28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30~60%を検証または否定する。
論文 参考訳(メタデータ) (2025-12-07T09:23:48Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳(メタデータ) (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。