論文の概要: Continue or Restart? The Limits of Early Failure Prediction in Coding Agents

• arxiv url: http://arxiv.org/abs/2610.35971v1
• Date: Mon, 26 Oct 2026 04:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.37683
• Title: Continue or Restart? The Limits of Early Failure Prediction in Coding Agents
• Title（参考訳）: 継続か再起動か? 符号化エージェントにおける早期故障予測の限界
• Abstract要約: 早期停止は、自動コーディングエージェントの計算コストを早期に減らすことを約束する。 我々は、線形カウントモデル、初期反転テキスト埋め込み、タスク条件ランク付けおよび微調整Qwen3-0.6Bモニタを評価する。 スコア誘導と一致したランダム再起動を、未中断継続とともに共有トークン予算の下で再生する。
• 参考スコア（独自算出の注目度）: 3.3948742816399697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early stopping promises to reduce compute costs for autonomous coding agents by terminating unpromising runs early. Deciding when to abandon a run requires separating baseline issue difficulty from the trajectory of an individual attempt. We study the distinction in 147,002 execution traces from two public corpora spanning four model-framework settings. Comparing pre-execution issue context against early execution prefixes, we evaluate linear count models, initial-turn text embeddings, task-conditional rankers, and a fine-tuned Qwen3-0.6B monitor. Although early prefixes modestly improve cross-task outcome ranking, within-task discrimination remains near chance across early landmarks (5k-20k tokens): initial-turn embeddings and 20k-token task-conditional models yield AUCs around 0.50, and three-seed neural evaluations across 32,406 attempts at 20k tokens achieve a mean within-task AUC of 0.50 [0.48, 0.51] across tasks of varying solve rates. To evaluate how these predictions translate into stopping decisions, we replay score-guided and matched random restarts under shared token budgets alongside uninterrupted continuation. Under a 75k-token cap, learned restarting improves resolution over matched random restarting by up to 1.98 percentage points. An exact algebraic decomposition resolves this paradox: the gain over random restarting stems almost entirely from between-task stopping allocation (avoiding stops on easy issues), whereas attempt-level selection within a task contributes near zero (-0.11 to +0.24 percentage points). Across all four settings at the 75k cap (and 216 of 224 tested budget-threshold configurations overall), uninterrupted continuation achieves higher solve rates at lower mean token cost than both restart policies. Practical evaluations of early stopping must therefore establish attempt-level discrimination and demonstrate net compute savings relative to continuation.
• Abstract（参考訳）: 早期停止は、自動コーディングエージェントの計算コストを早期に減らすことを約束する。 ランをいつ放棄するかを決めるには、個別の試行の軌跡からベースライン問題の難しさを分離する必要がある。 本研究では,4つのモデル・フレーム・設定にまたがる2つの公開コーパスから,147,002個の実行トレースを区別する。 初期実行前の問題コンテキストと初期実行前のプレフィックスを比較し、線形カウントモデル、初期反転テキスト埋め込み、タスク条件ランク付け、微調整されたQwen3-0.6Bモニタを評価する。 初期接頭辞はクロスタスクの成績ランキングを緩やかに改善するが、初期のランドマーク(5k-20kトークン)では、初期ターンの埋め込みと20kのタスク条件モデルによってAUCが約0.50となり、20kトークンでは32,406回の3シードのニューラル評価が平均で0.50[0.48, 0.51]に達している。 これらの予測がいかにして意思決定を停止させるかを評価するために、未中断の継続とともに共有トークン予算の下でスコア誘導と一致したランダム再起動を再生する。 75kの上限の下では、学習した再起動は一致したランダム再起動の解像度を最大1.98ポイント改善する。 厳密な代数的分解はこのパラドックスを解く: ランダム再起動の利得は、ほぼ完全にタスク間の停止割り当てから生じる(簡単な問題で停止する)が、タスク内の試行レベルの選択はゼロに近い(-0.11から+0.24パーセンテージポイント)。 75kキャップの4つの設定全体(および224の予算閾値構成全体の216)において、中断しない継続は、両方の再起動ポリシーよりも平均トークンコストの低い解決率を達成する。 したがって、早期停止の実践的な評価は、試行レベルの差別を確立し、継続に対する純計算の貯蓄を実証する必要がある。

関連論文リスト

• PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking [22.121237558061537]
  シーケンシャルな状態トラッキングでは、最終回答の監督は、各イテレーションがどれくらい進むべきかを規定していない。 textbfProgress-Aligned Recurrence (PAR)を導入し、最初の$k$操作後に状態を一致させるために$k$で予測をトレーニングする。 スワップ-S_5$では、Qwen2.5-0.5Bモデルが少なくとも32回の移動で訓練され、512回の移動で95.5%の完全状態精度が得られる。
  論文  参考訳（メタデータ） (2026-10-20T04:54:06Z)
• ECDSA.Fail: Open Autoresearch for Optimizing Elliptic-Curve Point Addition in Shor's Algorithm [26.031771597083708]
  我々は、人間とAIエージェントが公衆のリーダーボードに評価器を検証した改善をパブリッシュするOpen Autoresearchを提案する。 我々は、楕円曲線暗号におけるショアのアルゴリズムのボトルネックである、可逆secp256k1点加算回路を最適化する。 ベンチマークは、時空にインスパイアされたスコア$S=Qtimes T$を最小にし、$Q$はピーク論理量子ビット幅、$T$は平均実行されたToffoli数である。
  論文  参考訳（メタデータ） (2026-09-09T01:05:06Z)
• EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction [14.50182233464472]
  我々は,各タスクのコストを削減するために,効率の相補軸である早期結果予測を導入する。 EarlyEvalはエージェントステップの13%-26%、入力トークン44.1%、出力トークン29.4%を89%～97%の精度で除去できる。
  論文  参考訳（メタデータ） (2026-09-02T16:15:18Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
  本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。 実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。 我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-01-28T13:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。