論文の概要: Sentry: Learning to Recover from LLM Agent Failures at Test Time

• arxiv url: http://arxiv.org/abs/2610.02994v1
• Date: Fri, 02 Oct 2026 08:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.281983
• Title: Sentry: Learning to Recover from LLM Agent Failures at Test Time
• Title（参考訳）: Sentry: LLMエージェントの障害からテスト時に回復する方法を学ぶ
• Abstract要約: 障害知識は条件付きで公開されるべきであり、この原則をSentryでインスタンス化するべきだ、と私たちは主張する。 Sentryは、外部のプレイブックからマッチングのレッスンを検索してリカバリをガイドし、エージェントがリカバリしたかどうかのタスク報酬にアクセスできることなく検証し、その場合のみ新しいレッスンを格納する。
• 参考スコア（独自算出の注目度）: 1.4244376351028567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents often fail mid-task due to invalid tool calls, repeated actions, or poorly grounded reasoning, and learning from these failures is a path to reliability. We find that how failure knowledge reaches the agent matters as much as what it contains. Failure lessons are conditional: kept in the agent's context, they misfire when their failure is absent, and removing them from an evolving playbook improves performance. Runtime interventions, in contrast, act only when a failure occurs but do not learn from their repairs. We argue that failure knowledge is conditional knowledge and should be conditionally exposed, and instantiate this principle in Sentry, a failure-management layer that runs alongside the agent. When Sentry detects a failure, it retrieves matching lessons from an external playbook to guide recovery, verifies without access to task rewards whether the agent recovered, and stores a new lesson only if it did; the full playbook never enters the agent's context. Across multiple agentic benchmarks, Sentry outperforms the strongest runtime-intervention baseline on every benchmark, by 37\% on average, and the strongest context-evolution baseline by 39\% on the two benchmarks where both are evaluated; combining Sentry with context evolution yields further gains. Learned lessons transfer to held-out tasks, and controlled experiments show that exposing the full playbook to the agent lowers performance even when relevant lessons remain available on demand.
• Abstract（参考訳）: LLMエージェントは、無効なツールコール、繰り返しアクション、あるいは根拠の低い推論のために、タスクの途中で失敗することが多く、これらの失敗から学ぶことは、信頼性への道筋である。 失敗に関する知識がエージェントにどのように到達するかは、それが含んでいるものと同じくらい重要です。 失敗のレッスンは条件付きで、エージェントのコンテキストに保持され、失敗が欠如しているときに誤発し、進化するプレイブックからそれらを取り除くことでパフォーマンスが向上する。 対照的に、実行時の介入は、障害が発生した場合にのみ作用するが、修復から学ばない。 我々は、障害知識は条件付き知識であり、条件付き公開であるべきだと主張し、エージェントと一緒に動作する障害管理層であるSentryでこの原則をインスタンス化する。 Sentryが障害を検出すると、外部のプレイブックから一致するレッスンを検索してリカバリをガイドし、エージェントがリカバリしたかどうかをタスク報酬なしで確認し、その場合のみ新しいレッスンを格納し、完全なプレイブックがエージェントのコンテキストに入ることはない。 複数のエージェントベンチマーク全体で、Sentryは、各ベンチマークで最強のランタイム-インターベンションベースラインを平均37 %、両方のベンチマークが評価される2つのベンチマークで最強のコンテキスト-進化ベースラインを39 %上回る。 学習した授業は、待機タスクに移行し、コントロールされた実験により、必要に応じて関連するレッスンが利用可能であっても、エージェントにフルプレイブックを公開することでパフォーマンスが低下することが示された。

関連論文リスト

• Locating Hidden Failures Makes Long-Horizon Agents More Reliable [43.9204372121053]
  ソフトウェア工学、コンピュータ・ユース、科学にまたがるエージェント・トラジェクトリを2518ドルで研究している。 6967ドルのミスを78ドルの失敗タイプに分類します。 ロングホライゾンエージェントは、通過する結果に向かう途中で本当の害を与えることができる。
  論文  参考訳（メタデータ） (2026-09-15T23:40:42Z)
• HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
  我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。 私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。 結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-09-01T07:31:18Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
  FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。 FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
  論文  参考訳（メタデータ） (2026-08-09T08:22:57Z)
• The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents [0.12891210250935145]
  LLMエージェントに手続き的スキルを加えることは、通常、タスク成功の平均的な改善によって評価される。 この指標は重要なコストを隠蔽します。 約6,000回のランでエージェントとスキルと非スキルを比較して、双方を計測する。
  論文  参考訳（メタデータ） (2026-07-24T17:50:03Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。