論文の概要: Disentangling Task Difficulty from Run-Level Failure in Agent Failure Prediction

• arxiv url: http://arxiv.org/abs/2610.05572v1
• Date: Sun, 04 Oct 2026 22:17:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:54:52.558104
• Title: Disentangling Task Difficulty from Run-Level Failure in Agent Failure Prediction
• Title（参考訳）: エージェント故障予測における実行レベル故障によるタスク障害の解消
• Abstract要約: 近年のアプローチでは、AUROC値が0.85から0.94の強い予測性能が報告されている。 同一のエージェントによる同じタスクを繰り返し試みるベンチマークについて検討する。 結果の精度だけでなく、捕捉した信号が意図した配置決定をサポートするかどうかによって、故障予測が評価されるべきであることを示す。
• 参考スコア（独自算出の注目度）: 1.4952530080205333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting whether an LLM agent will fail has emerged as a promising direction for supporting intervention during execution. Recent approaches report strong predictive performance, often with AUROC values between 0.85 and 0.94. However, predictors are typically trained by pooling runs from many tasks. We hypothesize that part of this performance comes from recognizing that some tasks are harder than others, rather than detecting whether a particular run is heading toward failure. This distinction matters because task-level difficulty supports decisions about where to allocate computation, while run-level prediction is needed to decide whether to intervene in an ongoing trajectory. We study benchmarks with repeated attempts of the same task by the same agent and separate cross-unit comparisons from comparisons between successful and failed runs of the same model-task unit. Across the evaluated corpora, more than 99.93% of the positive-negative pairs underlying pooled AUROC are cross-unit. Accordingly, predictors that never observe the current run can achieve high pooled performance, including a difficulty oracle with AUROC up to 0.945, while remaining at chance within task. Early run-level discrimination is consistently weak across trajectory predictors, released monitors, and hidden-state probes, although it improves later in execution and is stronger for weaker agents. Under fixed token budgets, task-level allocation outperforms abort-only strategies, while early stopping becomes beneficial only when within-task AUROC reaches about 0.84-0.93, far above the 0.50-0.55 range observed for early monitors. These results show that failure prediction should be evaluated not only by outcome accuracy, but by whether the captured signal supports the intended deployment decision.
• Abstract（参考訳）: LLMエージェントがフェールするかどうかを予測することは、実行中の介入を支援するための有望な方向として現れている。 近年のアプローチでは、AUROC値が0.85から0.94の強い予測性能が報告されている。 しかしながら、予測子は典型的には、多くのタスクから実行をプールすることで訓練される。 このパフォーマンスの一部は、特定の実行が障害に向かっているかどうかを検出するのではなく、一部のタスクが他のタスクよりも難しいと認識することによるものだ、という仮説を立てています。 この区別は、タスクレベルの困難が計算の割り当て先を決定するのをサポートするのに対して、実行レベルの予測は、進行中の軌道に介入するかどうかを決定するために必要である。 我々は,同じタスクを同じエージェントで繰り返し試みるベンチマークと,同じモデルタスクユニットの成功した実行と失敗した実行の比較から,クロスユニット比較を分離して検討する。 評価されたコーパス全体では、プールされたAUROCを基盤とする正負のペアの99.93%以上がクロスユニットである。 したがって、現在の実行を観測しない予測器は、タスク内でチャンスを維持しながら、AUROCで最大0.945までの難解なオラクルを含む高いプール性能を達成することができる。 初期のランレベルの識別は、軌道予測器、放出されたモニター、隠れ状態プローブに一貫して弱いが、実行後に改善され、より弱いエージェントには強い。 固定されたトークンの予算の下では、タスクレベルの割り当ては中止のみの戦略を上回るが、早期停止は早期監視のために観測された0.50-0.55の範囲より遥かに、タスク内AUROCが約0.84-0.93に達した場合にのみ有益となる。 これらの結果から, 故障予測は, 結果の精度だけでなく, 捕捉した信号が意図した展開決定を支持するかどうかによって評価されるべきであることが示唆された。

関連論文リスト

• MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
  MeshHealは、完全に分散化された自己修復フレームワークである。 能力にマッチしたピアレビューを2つのタイムスケールに分けている。 1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-24T04:29:37Z)
• Speculative Evaluation of Stochastic LLMs [48.902430583833585]
  投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。 HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。 1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
  論文  参考訳（メタデータ） (2026-09-23T09:20:22Z)
• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation [17.57025670370604]
  ProEvalは、転送学習を利用して効率よくパフォーマンスを推定し、障害ケースを識別する、積極的な評価フレームワークである。 真理の1%以内の見積もりを達成するには8～65倍のサンプルが必要ですが、同時により多様な障害ケースを明らかにします。
  論文  参考訳（メタデータ） (2026-04-25T01:33:57Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Agentic Test-Time Scaling for WebAgents [65.5178428849495]
  CATTS(Confidence-Aware Test-Time Scaling)を提案する。 CATTSは、WebArena-LiteとGoBrowseのパフォーマンスをReact上で最大9.1%改善し、均一なスケーリングよりも最大2.3倍少ないトークンを使用する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:30Z)
• Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention [2.0838114053126366]
  LLM批判モデルによる積極的な介入は、しばしば信頼性を向上させると仮定されるが、展開時の影響はよく理解されていない。 高いオフライン精度 (AUROC 0.94) を持つバイナリLLM批判者は, にもかかわらず, 高い性能劣化を引き起こす可能性がある。 我々は、50のタスクからなる小さなパイロットを用いて、完全な配備を必要とせず、介入が助けになるか、害を与えるかを見積もる事前デプロイテストを提案する。
  論文  参考訳（メタデータ） (2026-02-03T10:02:50Z)
• Trajectory Guard -- A Lightweight, Sequence-Aware Model for Real-Time Anomaly Detection in Agentic AI [0.0]
  トラジェクトリガードはシームズ・リカレント・オートエンコーダであり、コントラスト学習によるタスク・トラジェクトリアライメントと、再構成によるシーケンシャル・アライメントを共同で学習するハイブリッド・ロス機能を備えている。 32ミリ秒のレイテンシで、当社のアプローチは LLM Judge のベースラインよりも17-27倍高速で動作し、実運用環境におけるリアルタイムの安全性検証を可能にします。
  論文  参考訳（メタデータ） (2026-01-02T00:27:11Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Mitigating Spurious Negative Pairs for Robust Industrial Anomaly Detection [9.93548802132951]
  敵攻撃に対する既存の検出手法の堅牢性は依然として課題であり、自律運転のような現実のアプリケーションにおいて信頼性を損なう。 本稿では,ADにおける対人訓練の理想的目的関数として,正規群から派生した擬似奇形群を提案する。 これらの結果から, 突発性負対が従来のコントラスト損失を損なうことにより, 頑健なADを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-26T07:32:39Z)
• Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences with Possibly Dependent Observations [44.71254888821376]
  我々は、一般的な非データ生成プロセスの下で、最初のタイプIエラーと予測リジェクション時間保証を提供する。 本研究では, 平均処理効果など, 方程式を推定することによって定義されるパラメータの推測に, 結果を適用する方法を示す。
  論文  参考訳（メタデータ） (2022-12-29T18:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。