論文の概要: StopLoss: Teaching Agents to Predict Failure and Stop Early

• arxiv url: http://arxiv.org/abs/2610.25525v1
• Date: Sun, 18 Oct 2026 20:39:02 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:24:57.868168
• Title: StopLoss: Teaching Agents to Predict Failure and Stop Early
• Title（参考訳）: StopLoss: エージェントに失敗を予測し、早い段階で停止するように教える
• Abstract要約: StopLossは、完成した軌跡とその検証結果から障害認識を学ぶ小さな外部モニタである。 StopLossは、実行が失敗する可能性がある場合に早期に実行を終了し、リソースを節約します。
• 参考スコア（独自算出の注目度）: 58.46247112300993
• License:
• Abstract: Coding agents keep working on runs that will fail verification, and asking a frontier model to watch for this is expensive in its own right. We introduce StopLoss, a small external monitor that learns failure recognition from completed trajectories and their verifier outcomes. The name is inspired by the stop-loss order in finance: StopLoss ends a run early when the run is likely to fail, which saves resources. Final outcomes label earlier local windows, so a fine-tuned language model can score the most recent tool steps in a single forward pass, and a threshold calibrated on successful runs turns that score into an abort decision without changing the executor. Trained on GPT-family SWE-rebench trajectories and evaluated on SWE-bench Verified and a SWE-bench Pro subset with GPT and Claude executors, StopLoss is compared against six general-purpose judges reading identical windows. Outcome supervision lifts failure prediction from near chance to a useful signal at the first check, at one to two orders of magnitude lower cost per check than any tested judge. This translates into savings: relative to completing every task, StopLoss lowers cost per retained solve by 4.5\% on Verified while preserving 99\% of successful runs, and by up to 31\% on the costlier Pro subset, reaching 48\% with a Qwen3-8B backbone, and in all four settings its cost per retained solve is below that of every judge policy. Outcome-trained small monitors can make failure recognition cheap enough for early stopping to pay for itself.
• Abstract（参考訳）: コーディングエージェントは、検証に失敗するランニングに取り組んでおり、フロンティアモデルにこれを監視するよう求めるのは、それ自体が高価である。 そこで我々はStopLossを紹介した。StopLossは、完成した軌跡と検証結果から障害認識を学習する小さな外部モニタである。 StopLossは、実行が失敗する可能性がある場合に早期に実行を終了し、リソースを節約します。 最終的な結果は、初期のローカルウィンドウにラベル付けされているため、微調整された言語モデルは、単一のフォワードパスで最新のツールステップをスコアできる。 GPT- family SWE-rebench trajectories を用いて訓練し,SWE-bench Verified および GPT および Claude executors を用いた SWE-bench Pro サブセットを用いて評価した。 アウトカム監視は、試行錯誤の予測を、試行錯誤した審査員よりも1対2のコストで、第1のチェックで有用な信号に引き上げる。 これは、すべてのタスクの完了に対して、StopLossは、完了した実行の99\%を保ちながら、検証済みの解決1件あたりのコストを4.5\%削減し、コストのかかるProサブセットで最大31\%削減し、Qwen3-8Bバックボーンで48\%に達した。 アウトカムトレーニングされた小さなモニターは、早期に支払いを停止するのに十分な失敗認識を安くすることができる。

関連論文リスト

• VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
  単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
  論文  参考訳（メタデータ） (2026-10-19T14:17:33Z)
• OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport [2.6389015277562335]
  LLMエージェントは、最小限のルールベースのセーフガードで自律的に機能する。 最近の研究は、セーフガードエージェントを使用して行動を監視したり、ポストホック後のログを評価したりすることで、この問題を解決する。 OnTrackは、エージェントのステップと依存関係を、記録された成功した実行結果と比較するストリーミング監視機構である。
  論文  参考訳（メタデータ） (2026-10-08T17:32:08Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction [14.50182233464472]
  我々は,各タスクのコストを削減するために,効率の相補軸である早期結果予測を導入する。 EarlyEvalはエージェントステップの13%-26%、入力トークン44.1%、出力トークン29.4%を89%～97%の精度で除去できる。
  論文  参考訳（メタデータ） (2026-09-02T16:15:18Z)
• trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
  アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。 地下の真実が建設によって知られている盲点を測定する。 審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
  論文  参考訳（メタデータ） (2026-08-29T10:14:05Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Capable but Unreliable: Canonical Path Deviation as a Causal Mechanism of Agent Failure in Long-Horizon Tasks [0.38991526486631006]
  信頼性障害の多くは、タスクの潜在解構造からのドリフトに起因するものであり、能力障害ではない、と我々は主張する。 我々は、モデル能力と作業難易度を維持できる自然実験を用いて、これを因果的に確立する。
  論文  参考訳（メタデータ） (2026-02-22T02:37:57Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。