論文の概要: Where Cyber Agents Struggle: Bottleneck Analysis of Multi-Stage LLM Agents
- arxiv url: http://arxiv.org/abs/2609.28572v1
- Date: Wed, 23 Sep 2026 11:58:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.413766
- Title: Where Cyber Agents Struggle: Bottleneck Analysis of Multi-Stage LLM Agents
- Title（参考訳）: サイバーエージェントがストラグルする場所:マルチステージLDMエージェントのボトルネック解析
- Abstract要約: マルチステージのLSMベースのサイバーエージェントは、不安定なまま攻撃を完了し、コストがかかるか、実行証拠の誤った解釈に依存している。
本稿では,企業の側方移動シナリオにおいて,オーケストレータ,エグゼキュータ,検証器を併用した自律アドバイザリーシステムのエンドツーエンドの診断研究について述べる。
- 参考スコア（独自算出の注目度）: 1.3331647120165038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-stage LLM-based cyber agents may complete attack workflows while remaining brittle, costly, or reliant on incorrect interpretations of execution evidence. Success rates alone obscure inefficiency, adaptation through retries, and recognition of success or failure. We present an end-to-end diagnostic study of an Autonomous Adversary system with orchestrator, executor, and validator LLMs in enterprise-like lateral-movement scenarios. Six frontier models are evaluated across two scenarios and three modes: expert-defined, self-scaffolded, and fully autonomous. We assess validator consistency and evidence grounding; introduce a subtask-conditioned, cost-aware score for abnormal token use, retries, and runtime; and use comparative LLM-as-a-Judge analysis to identify planning deficiencies, including tool misalignment, plan similarity, over-specification, inadequate probing, and weak recovery. Validators are generally relevant and evidence-grounded but often nonspecific and overly optimistic. Bottlenecks cluster in credential and lateral-movement tasks, spread with scenario complexity, and vary more under full autonomy. Reliable evaluation must assess outcomes, evidence interpretation, resource use, and adaptation after failure.
- Abstract（参考訳）: マルチステージLSMベースのサイバーエージェントは、脆弱でコストがかかり、実行証拠の誤った解釈に依存する一方で、攻撃ワークフローを完了させる可能性がある。
成功率だけでは、非効率さ、再試行による適応、成功または失敗の認識は明らかではない。
本稿では,企業の側方移動シナリオにおいて,オーケストレータ,エグゼキュータ,検証器を併用した自律アドバイザリーシステムのエンドツーエンドの診断研究について述べる。
6つのフロンティアモデルは、2つのシナリオと3つのモードで評価される。
検証者の一貫性とエビデンス評価,異常トークン使用,再試行,実行時に対するサブタスク条件付き,コスト対応スコアの導入,ツールのミスアライメント,計画類似性,過度な特定,不適切な探索,弱い回復など,計画上の欠陥の特定にLLM-as-a-Judge分析を用いた。
検証者は一般的に関連性があり、証拠を根拠にしているが、しばしば非特異で過度に楽観的である。
ボットネックはクレデンシャルおよび横移動タスクでクラスタ化され、シナリオの複雑さで分散し、完全な自律性の下でさらに変化する。
信頼性の高い評価は、失敗後の成果、証拠解釈、リソース使用、適応を評価する必要がある。
関連論文リスト
- TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - A Self-Healing Framework for Reliable LLM-Based Autonomous Agents [0.0]
本稿では,LSMベースのソフトウェアエージェントのための信頼性を考慮した自己修復フレームワークを提案する。
提案フレームワークはマルチエージェントのワークフロー環境に実装され,実世界のタスクシナリオを用いて評価される。
論文 参考訳（メタデータ） (2026-05-07T13:10:41Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Case-Aware LLM-as-a-Judge Evaluation for Enterprise-Scale RAG Systems [0.0]
企業向けマルチターンRAGシステムのためのケースアウェア LLM-as-a-Judge 評価フレームワークを提案する。
このフレームワークは、検索品質を分離する8つの運用上の基準を使用して、各ターンを評価し、忠実度、答えユーティリティ、精度の整合性、ケース/ワークフローアライメントを判定する。
論文 参考訳（メタデータ） (2026-02-23T21:37:06Z) - LHAW: Controllable Underspecification for Long-Horizon Tasks [8.46227536869596]
LHAW(Long-Horizon Augmenteds)は、モジュール型でデータセットに依存しない合成パイプラインである。
あいまいさのLLM予測に依存するアプローチとは異なり、LHAWは経験的エージェント試行を通じて変種を検証し、観察された終端状態のばらつきに基づいて結果クリティカル、発散、良性として分類する。
TheAgentCompany、SWE-Bench Pro、MCP-Atlasから285のタスク変種をリリースし、現在のエージェントが不明瞭な設定に対して不特定性を検知し、推論し、解決する方法を測定した。
論文 参考訳（メタデータ） (2026-02-11T04:49:50Z) - Stalled, Biased, and Confused: Uncovering Reasoning Failures in LLMs for Cloud-Based Root Cause Analysis [5.532586951580959]
LLMの推論動作を分離する実験的な評価手法を提案する。
我々は16の共通RCA推論失敗の分類をラベル付きで作成し、アノテーションにLLM-as-a-Judgeを使用する。
論文 参考訳（メタデータ） (2026-01-29T18:23:26Z) - A Comprehensive Evaluation of LLM Reasoning: From Single-Model to Multi-Agent Paradigms [20.241519889633285]
大規模言語モデル(LLM)は、推論パラダイムが重要な役割を果たす推論システムとして、ますます多くデプロイされている。
我々は、直接単モデル生成、CoT拡張単モデル推論、代表MASなど、推論パラダイムを包括的かつ統一的に評価する。
MIMeBenchは、2つの基本的な未探索セマンティック機能をターゲットにした新しいオープンエンドベンチマークである。
論文 参考訳（メタデータ） (2026-01-19T17:23:45Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。