論文の概要: Knowing When to Stop: The Evidence-Action Gap in Coding Agents
- arxiv url: http://arxiv.org/abs/2610.31895v2
- Date: Tue, 27 Oct 2026 00:51:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.334513
- Title: Knowing When to Stop: The Evidence-Action Gap in Coding Agents
- Title（参考訳）: コーディングエージェントにおけるエビデンス・アクションギャップ
- Abstract要約: コーディングエージェントはタスクを完了させるために訓練され、環境が完了を不可能にしている場合でも試し続けます。
ImpasseBenchを導入し、12の環境ブロッカーを他の方法で解決可能な修理タスクに注入する。
外部に必要なほぼすべての実行が十分な証拠を集めているのに、3分の1は予算を使い果たしている。
- 参考スコア（独自算出の注目度）: 76.92446812179517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are trained to complete tasks, and they keep trying even when the environment makes completion impossible. The evidence that only outside help can restore progress usually appears within a few steps, yet agents rarely act on it: they over-persist, attempt undesired workarounds, and claim success the record does not support -- a phenomenon we call evidence-action gap. To measure it, we introduce ImpasseBench, which injects twelve realistic environment blockers into otherwise solvable repair tasks and marks, in each trajectory, the step at which the collected evidence becomes sufficient. Scoring actions relative to that step separates appropriate effort from over-persistence and premature handoff. Across eight frontier models and 19,371 trajectories, we find that nearly every run that needs outside help collects sufficient evidence, yet a third still exhaust their budget, and every unsafe request we detect comes after that point. Fortunately, an escalation tool, or an external monitor for models that ignore the tool, already guards against much of this behavior: the tool cuts budget exhaustion from 34.0% to 6.7%, and the monitor nearly triples task success after environment restoration. Even then, a fired escalation is not yet a useful handoff: tickets reliably name the blocker but often omit the agent's own progress and verification status. Taken together, we argue that knowing when to stop therefore needs explicit support, both in the tool that lets an agent hand off and in the report it leaves behind.
- Abstract（参考訳）: コーディングエージェントはタスクを完了させるために訓練され、環境が完了を不可能にしている場合でも試し続けます。
外部の助けだけで進歩を回復できるという証拠は、通常数ステップ以内に現れるが、エージェントがそれを行動することは滅多にない。
そこで本研究では,12個の現実的な環境遮断剤を他の解決可能な修理作業やマークに注入するImpasseBenchを導入する。
そのステップに対するスコーリングアクションは、過剰なパースペンスと未熟なハンドオフから適切な労力を分離します。
8つのフロンティアモデルと19,371の軌跡にまたがって、外部に必要なほぼすべての実行が十分な証拠を集めるが、3分の1はまだ予算を浪費している。
幸いなことに、このツールを無視するモデルのためのエスカレーション・ツールや外部モニターは、既にこうした行動の多くを防いでいる: このツールは予算の浪費を34.0%から6.7%に削減し、モニターは環境修復後のタスク成功をほぼ3倍にしている。
チケットは確実にブロッカーを命名するが、しばしばエージェントの進捗と検証ステータスを省略する。
まとめると、いつ止めるべきかを知るには明確なサポートが必要だ、と論じる。
関連論文リスト
- Correct Answers, Closed Gates: SolveBind for GUI Agents at the Verification Barrier [23.564044673484418]
本稿では,階層的問題解決と実行監視を組み合わせたGUIエージェントフレームワークであるSolveBindを紹介する。
9つのCAPTCHAタスクファミリと9つのバックボーンモデルの中で、SolveBindは8つのバックボーンで最高成功率を達成した。
ペア化された GPT-5.5 分析では、MobileAgent は正しい答えを生成するが、90タスク中13タスクの動的検証に失敗し、SolveBind は7つのタスクで成功している。
論文 参考訳（メタデータ） (2026-10-23T06:27:37Z) - Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress [59.76726249334829]
本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。
LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。
拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
論文 参考訳（メタデータ） (2026-10-09T15:22:53Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - RoboQuest: Generalist Physical Agents that Search, Inspect and Test [39.17463515070178]
目標指向の実施探索のためのベンチマークであるRoboQuestを紹介する。
RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。
我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースした全エピソードのデモに基づいて、$_0.5$のポリシーを微調整した。
論文 参考訳（メタデータ） (2026-10-07T16:46:45Z) - Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。
兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。
障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
論文 参考訳（メタデータ） (2026-10-07T13:29:59Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - Instrumental Monitor Evasion Emerges Under Ordinary Task Pressure [25.53613256351612]
本研究では,通常のタスクを完了させる手段として,LCMエージェントがランタイム監視を回避するための妥当性について検討する。
EvasionBenchは50種類のタスクポリシーペアのベンチマークで、実行時モニタによって禁止された操作を必要とする。
評価全体を通じて、ベスト・オブ・3の回避試行率は最大98%、成功率は最大88%に達し、モデル間ではかなりのばらつきがある。
論文 参考訳（メタデータ） (2026-09-24T17:46:27Z) - Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents [8.355245794476078]
本稿では,チェックポイントでセキュリティタスクを計測し,機能露出前後の障害を分離する診断手法を提案する。
我々は,発見情報の再利用の遅れ,観察状態の再利用,失敗戦略からの回復,不確実な結果の意思決定を含む4つのタスクファミリーの方法論を評価する。
論文 参考訳（メタデータ） (2026-08-20T20:55:22Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。
エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。
我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-07T13:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。