論文の概要: Real-Time Detection and Repair of LLM Agent Failures
- arxiv url: http://arxiv.org/abs/2608.02464v1
- Date: Mon, 03 Aug 2026 16:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.708832
- Title: Real-Time Detection and Repair of LLM Agent Failures
- Title（参考訳）: LLMエージェント故障のリアルタイム検出と修復
- Abstract要約: LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents fail mid-episode -- they loop, cascade tool errors, drift off goal, fabricate results, or silently absorb corrupted content -- and the standard remedy, judging every step with a second LLM, costs more than the agent itself. We ask how much detection is achievable from observable step telemetry alone, using monitors costing microseconds per step and trained only on healthy runs. On 2,823 committed agent episodes across three frameworks, three local models (qwen2.5 7b/3b, llama3.1 8b) and a commercial API (gemini-2.5-flash), a one-class echo-state-network ensemble with CUSUM alarms detects 0.71 of failures at a 5% false-alarm budget (AUROC 0.872). Its advantage over a memoryless baseline is a monotone function of post-onset horizon (+0.09 at <=3 steps, +0.40 at >=9), predicting its own failure region out of sample on AFTraj-2K. Ranking transfers with no retraining to two corpora from other groups (AFTraj-2K 0.745, ATBench 0.779). Monitors carry two burdens: a per-deployment healthy null (they do not transfer -- AUROC 0.527 cold against 0.885 recalibrated) and a residual false-alarm rate. We add a layer carrying neither: deterministic verification, which recomputes a run's stated total from the tool results it actually received and confirms every required call was made. Head-to-head it catches 60% of failures (96% with the coverage check) at 0 of 63 false positives against the monitor's 54% at 17%, transfers unchanged to llama3.1:8b (110 of 110 at 0 of 10), and trips on 0 of 1825 healthy episodes. Detection is then closed into repair: each flagged run is rolled back and re-run live, recovering 45% of failures against a 16% resampling control (p=0.0005) and lifting task success from 52% to 73% for about one extra model call per run. The system runs at ~200 microseconds per step, three orders of magnitude below a judge call. Code, traces and results are released.
- Abstract（参考訳）: LLMエージェントは、ループ、カスケードツールエラー、ゴールのドリフト、結果の生成、あるいは無音で腐敗したコンテンツの吸収など、エピソードの途中で失敗し、標準的治療は、第2のLDMですべてのステップを判断し、エージェント自体よりもコストがかかる。
監視可能なステップテレメトリだけで、どれだけの検知が達成できるかを尋ねる。
3つのフレームワーク(qwen2.5 7b/3b, llama3.1 8b)と商用API(gemini-2.5-flash)、CUSUMアラームによる1クラスのエコー状態ネットワークアンサンブル(英語版)は、5%の偽アラーム予算(AUROC 0.872)で0.71の障害を検出する。
メモリレスベースラインに対する利点は、オンセット後の地平線(=3ステップで+0.09、→=9で+0.40)の単調関数であり、AFTraj-2Kのサンプルから独自の障害領域を予測することである。
他のグループからの2つのコーパス(AFTraj-2K 0.745、ATBench 0.779)に再訓練せずにランク付けされる。
モニターは2つの負担を負う: 配置ごとの健全なヌル(それらは転送されない -- AUROC 0.527 の冷却と0.885の再校正)と、残った偽アラームレートである。
決定論的検証(deterministic verification)は、実際に受信したツールの結果から、実行の総量を計算し、必要なすべての呼び出しが実行されたことを確認します。
ヘッド・トゥ・ヘッドは6割の障害(カバーチェックで96%)を、63件の偽陽性で0件、モニターの54%が17%、ラマ3.1:8b(110件中10件中110件中110件中0件)に移行し、1825件の健康なエピソードで0件である。
それぞれのフラグ付きランはロールバックされ、ライブで再実行され、16%のリサンプリングコントロール (p=0.0005) に対して45%の障害を回復し、1ラン当たり1回の追加モデルコールで52%から73%のタスク成功を解除する。
システムは1歩あたり約200マイクロ秒で、審査員の呼び出しより3桁低い。
コード、トレース、結果がリリースされます。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳（メタデータ） (2026-08-30T10:21:34Z) - CURA: Certified Runtime Alarms for Computer-Use Agents [6.896160570537455]
セルフレポートは、デプロイが持つ最も安価な監視チャネルであり、有能なコンピュータ使用エージェントでは、監視が重要な場所を正確に失敗する。
361 OSWorldでは、当社のパイプライン、読み取り専用実現ゲート、プランナー、エグゼキュータが、平均タスクスコア82.9に達し、72.4人の参照を上回ります。
71の障害のうち64件(90%)は成功の主張で終わるが、約9100回の呼び出しで明確な失敗の余裕がないことを認めている。
Alarm-gated Mid-execution oversightが障害70件中23件をリカバリし、38日にフロンティア監視機を使用
論文 参考訳（メタデータ） (2026-08-28T00:50:47Z) - Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。
深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
論文 参考訳（メタデータ） (2026-08-23T09:04:59Z) - Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。
中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。
配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
論文 参考訳（メタデータ） (2026-08-12T09:04:54Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳（メタデータ） (2026-07-15T17:16:24Z) - Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade [14.63102636181275]
大規模言語モデル(LLM)エージェントは、既に失敗する運命にある複数ステップの軌道を継続することで、推論計算を無駄にすることが多い。
隠れ状態プローブを用いたLSMエージェントの早期故障予測と推定時早期停止について検討した。
LLMエージェント推論コストを削減するために,この信号をリコール制御された中止カスケードに変換する。
論文 参考訳（メタデータ） (2026-07-07T17:03:55Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents [0.0]
単一制御のtau2-benchドメインでは45～48%、二重制御の通信では3%、AppWorldの自己評価のコーディングエージェントトラジェクトリでは75.8%、明確なステータスクレームでは75.8%である。
TF-IDF検出器は、tau2-benchでタスク非結合のAUROC 0.83、AppWorldで0.95を達成する。
論文 参考訳（メタデータ） (2026-06-01T00:13:23Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳（メタデータ） (2026-05-18T23:43:12Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench [0.0]
AgentProp-Benchは4つのドメインに2300のトレースを持つ2,000タスクのベンチマークである。
我々は、判断信頼性を定量化し、エラーの伝播を特徴づけ、実行時の緩和を評価する。
すべてのコード、データ、トレース、および人間のラベルはhttps://github.com/bhaskargurram-ai/agenthallu-bench.orgで公開されている。
論文 参考訳（メタデータ） (2026-04-17T21:15:35Z) - Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。
複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文 参考訳（メタデータ） (2025-09-08T11:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。