論文の概要: Last Step Matters: Early Uncertainty Cannot Predict Failure in Long-Horizon Agents

• arxiv url: http://arxiv.org/abs/2608.29685v1
• Date: Sun, 30 Aug 2026 09:43:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.045295
• Title: Last Step Matters: Early Uncertainty Cannot Predict Failure in Long-Horizon Agents
• Title（参考訳）: 最後のステップ:長距離エージェントの早期不確かさは失敗を予測できない
• Abstract要約: タイムリーな介入を可能にし、推論とツール使用コストを削減できるため、長期的なエージェントにとって早期の障害予測が重要である。 我々は,ディープラーニングタスクにおける主流の不確実性信号を評価し,言語的信頼度が軌道完了時の失敗を確実に区別することを発見した。 経路切換では、エージェントが現在の探索方向を軌跡内で頻繁に放棄し、初期信号と最終結果とのリンクを断ち切る。
• 参考スコア（独自算出の注目度）: 13.560515796350046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early failure prediction is important for long-horizon agents, as it enables timely intervention and can reduce inference and tool-use costs. Uncertainty quantification, such as verbal confidence and perplexity, offers a promising approach to detecting agent failures; however, it has not been explored whether these signals retain their discriminative power during the intermediate stages of long-horizon execution. We evaluate mainstream uncertainty signals on deep-research tasks and find that verbal confidence reliably distinguishes failures at trajectory completion, achieving a mean AUROC of 0.85, whereas all evaluated signals offer limited predictive value earlier in execution, with none exceeding a mean AUROC of 0.60 at 50% trajectory progress. We identify an underlying mechanism explaining this gap: path switching, where agents frequently abandon their current search direction in-trajectory, breaking the link between early signal and final outcome. These findings challenge the assumption that intermediate uncertainty can reliably guide early intervention. They also motivate a practical recommendation for agent harnesses in deep-research settings: use final-step confidence to decide whether to restart, an approach that our experiments find more effective than in-trajectory intervention.
• Abstract（参考訳）: タイムリーな介入を可能にし、推論とツール使用コストを削減できるため、長期的なエージェントにとって早期の障害予測が重要である。 言語的信頼度や難易度などの不確実性定量化は、エージェントの故障を検出するための有望なアプローチを提供するが、これらの信号が長距離実行の中間段階において識別力を保持するかどうかについては検討されていない。 我々は,深層調査タスクにおける主流不確実性信号の評価を行い,平均AUROCが0.85であるのに対して,各評価信号は平均AUROCが50%の軌道進行率で0.60以上であるのに対し,平均AUROCは0.85以上であることを示す。 経路切換では、エージェントが現在の探索方向を軌跡内で頻繁に放棄し、初期信号と最終結果とのリンクを断ち切る。 これらの知見は、中間不確実性は早期介入を確実に導くことができるという仮定に挑戦する。 彼らはまた、ディープ・リサーチ・セッティングにおけるエージェント・ハーネスの実践的な推奨を動機付けている。

関連論文リスト

• Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents [8.355245794476078]
  本稿では,チェックポイントでセキュリティタスクを計測し,機能露出前後の障害を分離する診断手法を提案する。 我々は,発見情報の再利用の遅れ,観察状態の再利用,失敗戦略からの回復,不確実な結果の意思決定を含む4つのタスクファミリーの方法論を評価する。
  論文  参考訳（メタデータ） (2026-08-20T20:55:22Z)
• When Evidence is Sparse: Weakly Supervised Early Failure Alerting in Dialogs and LLM-Agent Trajectories [20.332123003765837]
  早期の障害警告では、ダイアログやエージェントのトラジェクトリがまだ展開されている間に、フェールするかどうかを判断する必要がある。 一般的には、トラジェクトリレベルの成功/失敗ラベルとしてのみ、監視が利用可能であるのに対して、アラートは部分的なインタラクションから引き上げなければならないため、これは難しい。 本稿では、このスパースエビデンス構造から学習し、その結果のリスク推定を制御可能な早期警報に利用する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2026-06-03T20:28:27Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Towards Generation-Efficient Uncertainty Estimation in Large Language Models [6.111244917760012]
  医療やファイナンスといった高度なアプリケーションにLLMをデプロイする上で,不確実性評価が重要である。 既存の手法では、不確実性を推定するために1つ以上の完全な自己回帰世代が必要である。 部分生成や入力のみの情報を用いて有効不確実性を推定できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-07T11:39:13Z)
• Seeing Farther and Smarter: Value-Guided Multi-Path Reflection for VLM Policy Optimization [41.15414881730464]
  VLM(Vision-Language Models)は、この目標に対して、一般的なパーセプティブ・レアソン・アクティベート・フレームワークを提供する。 従来のアプローチは、ノイズの多い予見予測から状態値の非効率で、しばしば不正確な暗黙の学習に依存していた。 動作生成から状態評価を分離する新しいテスト時間計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-22T22:53:16Z)
• Agentic Uncertainty Quantification [76.94013626702183]
  本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。 システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
  論文  参考訳（メタデータ） (2026-01-22T07:16:26Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Pedestrian Trajectory Forecasting Using Deep Ensembles Under Sensing Uncertainty [125.41260574344933]
  エンコーダ・デコーダをベースとした深層アンサンブルネットワークは,認識と予測の不確実性の両方を同時に捕捉する。 全体として、深層アンサンブルはより堅牢な予測を提供し、上流の不確実性の考慮により、モデルの推定精度をさらに高めた。
  論文  参考訳（メタデータ） (2023-05-26T04:27:48Z)
• Unsupervised Anomaly Detection with Rejection [19.136286864839846]
  異常検知器は直観を用いて決定境界を学習するが、実際に検証することは困難である。 これに対抗する方法の1つは、検出器が高い不確実性のある例を拒否できるようにすることである。 これは、決定境界までの距離を捉え、低信頼の予測を拒否するために拒絶しきい値を設定する信頼度基準を用いる必要がある。
  論文  参考訳（メタデータ） (2023-05-22T16:22:32Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Temporal Difference Uncertainties as a Signal for Exploration [76.6341354269013]
  強化学習における探索の効果的なアプローチは、最適な政策に対するエージェントの不確実性に依存することである。 本稿では,評価値のバイアスや時間的に矛盾する点を強調した。 本稿では,時間差誤差の分布の導出に依存する値関数の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T18:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。