論文の概要: Locating Hidden Failures Makes Long-Horizon Agents More Reliable

• arxiv url: http://arxiv.org/abs/2609.17930v1
• Date: Tue, 15 Sep 2026 23:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.575469
• Title: Locating Hidden Failures Makes Long-Horizon Agents More Reliable
• Title（参考訳）: 隠れた失敗が原因で、長距離エージェントの信頼性が向上
• Abstract要約: ソフトウェア工学、コンピュータ・ユース、科学にまたがるエージェント・トラジェクトリを2518ドルで研究している。 6967ドルのミスを78ドルの失敗タイプに分類します。 ロングホライゾンエージェントは、通過する結果に向かう途中で本当の害を与えることができる。
• 参考スコア（独自算出の注目度）: 43.9204372121053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI agents take on long, autonomous tasks, we increasingly oversee rather than perform the work, yet we still judge them almost entirely by whether they finally succeed. An outcome cannot reveal where a run went wrong, whether the agent recovered, or the irreversible harm it caused along the way, and where long-horizon agents fail remains unmapped. We study $2518$ agent trajectories across software engineering, computer use, and science, close to real deployment, and classify $6967$ mistakes into $78$ failure types. Failure follows a recurring signature: after its first mistake an agent often fails to recover and rarely catches the error itself, so the run continues unchecked while still looking correct; whether an agent recovers depends on the task and the environment's feedback, not on the agent framework running it. Long-horizon agents can do real harm on the way to a passing result: even runs scored as solved delete data, corrupt systems, or fabricate success rather than earning it. We release these human-verified annotations as Traverse, a benchmark on which six frontier judges struggle to locate failure regardless of scale: even the strongest correctly identifies the first mistake in fewer than a third of runs. Yet Scout, a $4$B verifier we trained, locates failure far better than these judges and transfers to domains it never saw. Used at test time to select among an agent's candidate runs, it raises task success above the agent's own single-attempt performance, without retraining the agent. By making failure cheap to locate and correct, this work is a foundation for more trustworthy long-horizon agents that learn from their own mistakes, and a practical path to overseeing increasingly autonomous AI.
• Abstract（参考訳）: AIエージェントが長い自律的なタスクをこなすにつれ、私たちは仕事をするよりも、ますます監督します。 結果は、エージェントが回復した場所や、途中で引き起こされた不可逆的な損傷、そして長時間のエージェントが失敗する場所が未マッピングのままであるかどうかを明らかにすることはできない。 ソフトウェアエンジニアリング、コンピュータ利用、科学に関する2518ドルのエージェントトラジェクトリを調査し、実際のデプロイメントに近いもので、6967ドルのミスを78ドルの障害タイプに分類します。 最初のミスの後、エージェントがリカバリに失敗することが多く、エラー自体をキャッチすることがほとんどないため、エージェントがリカバリするかどうかはタスクと環境のフィードバックに依存し、実行中のエージェントフレームワークに依存しない。 ロングホライゾンエージェントは、解決された削除データとしてスコア付けされた結果、不正なシステム、あるいはそれを得るよりも成功を作る、といった、パス結果への道のりで本当の害を負うことができる。 これは、6人のフロンティア判事がスケールに関係なく失敗を見つけるのに苦労するベンチマークです。 しかし、私たちが訓練した4億ドルの検証機関であるScoutは、これらの審査員よりも失敗を見つけ、それまで見たことのない領域に転送する。 テスト時にエージェントの候補実行の中から選択するために使用され、エージェントを再トレーニングすることなく、エージェント自身の単一攻撃パフォーマンスよりもタスク成功率を高める。 失敗の発見と修正を安くすることで、この作業は、自分たちのミスから学ぶ、より信頼できるロングホライゾンエージェントの基盤となり、ますます自律的なAIを監督する実践的な道筋となる。

関連論文リスト

• Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation [0.0874967598360817]
  マルチエージェントシステムは、通常、あるAIエージェントを別のAIエージェントに委ねる。 これらの非命令モデルがどちらを選択するかのベンチマークは行いません。 textitManager Coercion Benchmarkを紹介する。
  論文  参考訳（メタデータ） (2026-07-16T20:07:47Z)
• Understanding Code Agent Behaviour: An Empirical Study of Success and Failure Trajectories [10.751728274263536]
  本稿では,エージェントのトラジェクトリ,すなわちソフトウェア問題の解決に際し,エージェントが行うステップを捉えた実行トレースについて,実証的研究を行う。 我々は、SWE-Benchベンチマークで、最先端の3つのコードエージェント(OpenHands、SWE-agent、Prometheus)の軌跡を分析し、成功と失敗の両方について検討した。
  論文  参考訳（メタデータ） (2025-10-31T18:58:13Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。