論文の概要: Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents

• arxiv url: http://arxiv.org/abs/2608.20563v1
• Date: Thu, 20 Aug 2026 20:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.231523
• Title: Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents
• Title（参考訳）: エンド・ツー・エンドの成功を超えて:長期セキュリティLLMエージェントの障害診断
• Abstract要約: 本稿では,チェックポイントでセキュリティタスクを計測し,機能露出前後の障害を分離する診断手法を提案する。 我々は,発見情報の再利用の遅れ,観察状態の再利用,失敗戦略からの回復,不確実な結果の意思決定を含む4つのタスクファミリーの方法論を評価する。
• 参考スコア（独自算出の注目度）: 8.355245794476078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon security LLM agents must carry information and decisions across many dependent interactions, where later actions often depend on services, state, or access discovered much earlier. This makes final task success difficult to interpret: an agent may fail before it ever reaches the point where the capability of interest can be exercised. We present a diagnostic methodology that instruments security tasks with checkpoints, separates failures before and after capability exposure, and uses controlled interventions to test suspected upstream bottlenecks. We evaluate the methodology across four task families involving delayed reuse of discovered information, reuse of observed state, recovery from failed strategies, and decision making after uncertain outcomes. On observed state reuse, checkpoint analysis shows that many Gemini 2.5 Flash failures occur before the model observes the state it is later expected to reuse. In a pre-specified 92-seed study, targeted protocol-disambiguation guidance increases state observation from 65.5\% under a matched non-guidance control message to 95.4\%. Repeating the same design with Gemini 3.7 Flash produces the opposite effect, while state observation no longer reliably predicts task completion. These results show that the dominant source of failure can shift across model generations, motivating evaluation that diagnoses where and why long-horizon security agents fail rather than relying only on aggregate task success.
• Abstract（参考訳）: 長期のセキュリティ LLM エージェントは、多くの依存するインタラクションにまたがって情報や決定を行う必要があり、後続のアクションは、より早く発見されたサービス、状態、アクセスに依存することが多い。 これは、最終タスクの成功を解釈しにくくする: エージェントは、興味を持つ能力が行使できる時点に達する前に失敗する可能性がある。 本稿では,チェックポイントでセキュリティタスクを計測し,機能暴露前後の障害を分離する診断手法を提案する。 我々は,発見情報の再利用の遅れ,観察状態の再利用,失敗戦略からの回復,不確実な結果の意思決定を含む4つのタスクファミリーの方法論を評価する。 観察された状態の再利用について、チェックポイント分析は、モデルが後に再利用されると予想される状態を見る前に、多くのgemini 2.5 Flash障害が発生することを示している。 92シードの事前研究において、ターゲットプロトコルの曖昧化ガイダンスは、一致した非誘導制御メッセージの下での状態観察を65.5\%から95.4\%に増加させる。 同じ設計をGemini 3.7 Flashで繰り返すと反対効果が生じるが、状態観察はタスク完了を確実に予測しない。 これらの結果から、障害の原因はモデル世代にまたがる可能性があることが示され、タスクの総合的な成功にのみ依存するのではなく、長期のセキュリティエージェントが失敗する場所や理由を診断する評価のモチベーションが得られた。

関連論文リスト

• Last Step Matters: Early Uncertainty Cannot Predict Failure in Long-Horizon Agents [13.560515796350046]
  タイムリーな介入を可能にし、推論とツール使用コストを削減できるため、長期的なエージェントにとって早期の障害予測が重要である。 我々は,ディープラーニングタスクにおける主流の不確実性信号を評価し,言語的信頼度が軌道完了時の失敗を確実に区別することを発見した。 経路切換では、エージェントが現在の探索方向を軌跡内で頻繁に放棄し、初期信号と最終結果とのリンクを断ち切る。
  論文  参考訳（メタデータ） (2026-08-30T09:43:08Z)
• Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses [8.002494437891077]
  リターンがエージェントコンテキストに入ると、ツールの障害を分析します。 確率に基づく信号は、不完全なリターンといくつかの直接的な不整合をはっきりと捉えていることを示す。 可能性信号の弱いいくつかの障害は、エージェントを状態変化アクションにリダイレクトすることができる。
  論文  参考訳（メタデータ） (2026-08-24T00:26:57Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• Failure as a Process: An Anatomy of CLI Coding Agent Trajectories [21.513740407266354]
  大規模言語モデル(LLM)コーディングエージェントは、端末ベースの環境でソフトウェアエンジニアリングタスクを自律的に実行するために、ますます多くデプロイされている。 既存の実証研究は、なぜコーディングエージェントが失敗するのかを調査するが、失敗を一時的なプロセスではなく最終的な結果として扱う。 本稿では、CLIコーディングエージェント障害軌跡に関する大規模な実証的研究を行い、プロセス指向のフレームワークを導入し、実行軌跡をまたいだ障害の開始、進化、回復を解析した。
  論文  参考訳（メタデータ） (2026-07-10T15:25:56Z)
• Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents [58.49879338545782]
  ロングホライゾンタスクは、現実のロボット展開では一般的なものだが、そのようなタスクの障害検出は未調査のままである。 動作条件付き世界モデルからの潜在表現を用いて、操作軌跡をモニタする故障検出フレームワークであるForesightを提案する。 この結果から, 動作条件付きワールドモデル埋め込みは, 長距離操作における信頼性のある故障監視のためのスケーラブルな表現を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-22T09:32:28Z)
• When Evidence is Sparse: Weakly Supervised Early Failure Alerting in Dialogs and LLM-Agent Trajectories [20.332123003765837]
  早期の障害警告では、ダイアログやエージェントのトラジェクトリがまだ展開されている間に、フェールするかどうかを判断する必要がある。 一般的には、トラジェクトリレベルの成功/失敗ラベルとしてのみ、監視が利用可能であるのに対して、アラートは部分的なインタラクションから引き上げなければならないため、これは難しい。 本稿では、このスパースエビデンス構造から学習し、その結果のリスク推定を制御可能な早期警報に利用する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2026-06-03T20:28:27Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
  FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。 まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。 我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:47:12Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。