論文の概要: When to Intervene? An Empirical Study of Errors and Self-Recovery in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.36471v1
• Date: Tue, 27 Oct 2026 01:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.221362
• Title: When to Intervene? An Empirical Study of Errors and Self-Recovery in LLM Agents
• Title（参考訳）: 介入の時期 : LLM剤の誤りと自己回復に関する実証的研究
• Abstract要約: 我々は,自己回復の頻度と迅速さ,自己回復がその後の実行とタスク完了とどのように関連しているか,エラー発生時の自己回復を予測できるかどうかについて検討する。 本稿では,エラーが自己回復するかどうかを予測する手法であるReCoFを提案する。
• 参考スコア（独自算出の注目度）: 11.104400480432668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents interact with Web services to perform tasks on users' behalf. Errors during these interactions can disrupt execution and prevent task completion, motivating external intervention. However, agents may self-recover through continued execution, raising the question of when to intervene and when to wait for self-recovery. We present an empirical study of errors and self-recovery in LLM agents. We construct ReInBench, a dataset containing 1,259 agent traces and 1,403 error events across computer-use and Web tasks. Our study examines how often and how quickly agents self-recover, how self-recovery relates to subsequent execution and task completion, and whether self-recovery can be predicted when an error occurs. We find that 725 error events self-recover, often within a few steps, with self-recovery performance differing across Execution LLMs. Self-recovery can also help agents recover from subsequent errors of the same type and support overall task completion. Intervention should therefore prioritize errors unlikely to self-recover, while allowing agents to continue when self-recovery is likely. Building on these empirical findings, we propose ReCoF, a method that predicts whether an error will self-recover to inform whether additional intervention is needed. ReCoF achieves an average relative improvement of 9.02% in Macro-F1 over the strongest baseline on ReInBench. Our code and data can be found at https://method-notes.github.io/ReCoF/.
• Abstract（参考訳）: LLMエージェントはWebサービスと対話し、ユーザの代わりにタスクを実行する。 これらの相互作用中のエラーは実行を妨害し、タスクの完了を防ぎ、外部の介入を動機付ける。 しかし、エージェントは実行を継続して自己回復し、いつ介入するか、いつ自己回復を待つのかという疑問を提起する。 LLM剤の誤りと自己回復に関する実証的研究を行った。 1,259のエージェントトレースと1,403のエラーイベントを含むデータセットであるReInBenchを構築した。 本研究は, 自己回復の頻度と迅速さ, 自己回復がその後の実行とタスク完了とどのように関連しているか, エラー発生時の自己回復が予測可能であるかを検討する。 その結果、725件のエラーイベントが、しばしば数ステップ以内で自己リカバリされ、実行LLM間で自己リカバリのパフォーマンスが異なることがわかった。 セルフリカバリは、エージェントが同じタイプの後のエラーから回復し、全体的なタスク完了をサポートするのに役立つ。 したがって、介入は、自己回復の可能性が低い場合にはエージェントが継続できるように、エラーを優先順位付けするべきである。 本稿では,これらの経験的知見に基づいて,エラーが自己回復するかどうかを予測し,さらなる介入が必要かどうかを判断する手法であるReCoFを提案する。 ReCoFは、ReInBenchのベースラインよりも9.02%の相対的な改善をマクロF1で達成している。 私たちのコードとデータはhttps://method-notes.github.io/ReCoF/.orgで参照できます。

関連論文リスト

• When Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents [7.986500985812644]
  私たちはこの問題をInfinite Agentic Loops (IALs)と呼んでいる。 IALはエージェントロジック、フレームワークセマンティクス、実行時の観察、終了メカニズム間の相互作用から生まれる。 本研究では,実世界のLLMエージェントプロジェクトにおけるALF検出のための静的解析ツールであるIAL-Scanを提案する。
  論文  参考訳（メタデータ） (2026-07-02T03:14:27Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
  本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。 Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。 以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2025-01-20T11:46:04Z)
• MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL [0.26626950367610397]
  自己訂正(Self-correction)は、大きな言語モデル(LLM)に、以前誤って生成されたsqlを書き換えるよう促すプロセスである。 本稿では,自己補正ガイドライン作成を自動化する新しいマルチエージェント手法であるMAGICを紹介する。 我々の実験によると、MAGICのガイドラインは、人間の作ったものよりも優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。