論文の概要: Hard Issue, Weak Model, or Bad Run? Rethinking Failure Prediction for Coding Agents

• arxiv url: http://arxiv.org/abs/2611.08285v1
• Date: Thu, 05 Nov 2026 16:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.585309
• Title: Hard Issue, Weak Model, or Bad Run? Rethinking Failure Prediction for Coding Agents
• Title（参考訳）: ハード問題, 弱みモデル, バッドラン : コードエージェントの故障予測を再考する
• Abstract要約: ソフトウェアエンジニアリング(SE)エージェントのための軌道ベースの障害予測器は、実行中の部分的な軌道を読み、それが正しいかどうかを判断する。 これらの予測器が実行自体について何か学んでいるかどうかを問う。
• 参考スコア（独自算出の注目度）: 5.327895652166675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trajectory-based failure predictors for software engineering (SE) agents read the partial trajectory of a run to flag whether it is going right or wrong. If it is going wrong, the run can be stopped, retried, or switched to another model. We ask whether these predictors learn anything about the run itself. On public SWE-bench Verified trajectories, where each model attempts each issue once, two run-independent factors dominate predictor performance. The first is issue difficulty: a reference score that never looks at the run, only at how hard the issue is for other models, reaches 0.92 AUROC, whereas trajectory predictors reach about 0.62. The second is model ability: within an issue, knowing which model ran predicts failure better than our predictors do, and the predictors largely reproduce the overall ability ranking of the models. Beyond difficulty and ability, what predictors gain from the trajectory is statistically equivalent to zero. This confusion carries over to the actions taken after a prediction. Model switching is often motivated by the gap between the best single model's resolution rate and an any-model oracle. This gap is no larger than random variation alone produces. Per-issue switching gains nothing on held-out runs. In a repeated-run pilot, the same model often solves an issue in some runs and fails it in others. Retrying thus has real room to repair failures, but it rescues only failures caused by a bad run, not those on an issue beyond the model's ability. Current predictors cannot tell the causes apart, as they mostly predict the issue and the model, not the run. We call for failure prediction that explains why a run fails, evaluated on repeated-run benchmarks and in closed-loop, equal-budget settings.
• Abstract（参考訳）: ソフトウェアエンジニアリング(SE)エージェントのための軌道ベースの障害予測器は、実行中の部分的な軌道を読み、それが正しいかどうかを判断する。 問題が発生した場合、実行を停止、リトライ、あるいは別のモデルに切り替えることができる。 これらの予測器が実行自体について何か学んでいるかどうかを問う。 パブリックなSWE-bench Verified trajectoriesでは、各モデルが各問題に一度挑戦し、2つの実行非依存要因が予測器のパフォーマンスを支配している。 基準スコアは、他のモデルではどれだけ難しいかというだけで、0.92 AUROCに達するのに対し、軌跡予測器は約0.62に達する。 2つ目は、モデル能力です — 問題の中で、どのモデルの実行が、予測器よりも失敗を予測し、予測器は、モデルの全体的な能力ランキングをほとんど再現します。 難易度と能力の他に、予測器が軌道から得られるものは統計的にゼロに等しい。 この混乱は予測後の行動へと続く。 モデルスイッチングはしばしば、最高の単一モデルの解像度率と任意のモデルオラクルとのギャップによって動機付けられる。 このギャップは、ランダムなばらつきのみが生み出すものほど大きくない。 発行ごとのスイッチングは、ホールドアウトランでは何も得ない。 繰り返し実行されるパイロットでは、同じモデルがいくつかのランで問題を解決し、他のランで失敗することが多い。 したがって、リトライには障害を修復する余地があるが、モデル能力以上の問題ではなく、悪い実行によって引き起こされる障害のみを救助する。 現在の予測者は原因を区別することができず、主に問題とモデルを予測し、実行しない。 我々は、なぜ実行が失敗するのかを説明し、繰り返し実行されるベンチマークやクローズドループ、等予算設定で評価する失敗予測を要求します。

関連論文リスト

• Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models [54.47588263857889]
  推論モデルは、計画、導出、検証など、異なる振る舞いにまたがるテスト時間計算を割り当てます。 トークンの予算やステアリングのような既存の介入は、特定の行動をターゲットにするのではなく、推論期間を規制する。 我々は,Mixture-of-Expertsルータが,動作制御のための自然な,トレーニング不要なインターフェースを提供することを示した。
  論文  参考訳（メタデータ） (2026-11-04T04:13:02Z)
• Predictable performance is suboptimal, and what it means for model routing [38.85015166354312]
  モデルがタスクに最適である場合にのみ、性能予測が単純なベースラインを上回ることが示される。 モデルが自己自信に勝る性能予測器は、モデル損失を改善するために使用できることを示す。
  論文  参考訳（メタデータ） (2026-10-22T15:27:27Z)
• Not All Errors Matter: Decision-Relevant Prediction Error Predicts Planning Quality [1.0921670230038134]
  世界モデルは一般的に、より正確な予測がより良い決定につながると仮定して、予測エラーによって訓練され、評価される。 また, 異なる状態次元でエラーが発生した場合, 同様の総誤差を持つモデルでは, 計画性能が著しく異なることを示す。
  論文  参考訳（メタデータ） (2026-09-26T07:34:10Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• The Hot Mess of AI: How Does Misalignment Scale With Model Intelligence and Task Complexity? [53.15349353876531]
  AIがより有能になるにつれて、より汎用的で簡潔なタスクを委任します。 我々はAIモデルによる誤りのバイアス分散分解を用いてこの問題を運用する。 より有能なAIはより困難なタスクを追求し、よりシーケンシャルな行動と思考を必要とするので、私たちの結果は失敗がより一貫性のない行動を伴うことを予測します。
  論文  参考訳（メタデータ） (2026-01-30T14:52:03Z)
• Closing the Loop: Motion Prediction Models beyond Open-Loop Benchmarks [2.17300236125078]
  我々は、最先端のモーション予測器とモーションプランナーの相互作用を評価する。 以上の結果から,オープンループの精度はクローズドループ運転行動と必ずしも相関しないことがわかった。 最大86%のパラメータを持つモデルでは、同等またはそれ以上のクローズドループ駆動性能が得られる。
  論文  参考訳（メタデータ） (2025-05-08T20:38:49Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Attention-Based Ensemble Pooling for Time Series Forecasting [55.2480439325792]
  本稿では,候補モデル予測よりも重み付き平均値を実行するプーリング法を提案する。 本手法は,非定常ロレンツ63方程式の動力学の多段階予測と,COVID-19による週次死亡事故の1段階予測という2つの時系列予測問題に対して試行する。
  論文  参考訳（メタデータ） (2023-10-24T22:59:56Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。