論文の概要: Big Enough to Break Out: Tracking the Rising Capability of LLM Penetration-Testing Agents
- arxiv url: http://arxiv.org/abs/2609.10780v1
- Date: Wed, 09 Sep 2026 19:28:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.120692
- Title: Big Enough to Break Out: Tracking the Rising Capability of LLM Penetration-Testing Agents
- Title（参考訳）: LLM浸透試験剤の上昇能力の追跡
- Abstract要約: 大きな言語モデル(LLM)エージェントは、浸透テストにますます適用されていますが、何ができるか、どのように失敗するのかについては、まだほとんど分かっていません。
我々はPentestGPTベースの2つのシステムを比較した。オープンウェイトなKim K2.5を運用するレガシーな人力ループシステムと、Claude Opus 4.8を運用する新しい自律システムだ。
モデル、ハーネス、自律性、メモリアーキテクチャがすべて一緒に変化するからです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly applied to penetration testing, but we still know little about what they can do or how they fail. We compare two PentestGPT-based systems: a legacy human-in-the-loop system running the open-weight Kimi K2.5, and a newer autonomous system running Claude Opus 4.8. Across three public targets, the autonomous system solves all three, including the two the legacy system never finishes. The legacy result is the more surprising of the two. Even on the machines the legacy system fails to solve, it completes about half the subtasks, while running on ordinary university GPUs with no provider guardrails. We can describe the trend but not explain it, since model, harness, autonomy, and memory architecture all change together. Its direction still points to the next question: what will limit these agents as they take on more complex tasks? The usual answer is long-horizon memory, the loss of access to earlier findings during long attack chains. We test it by adding a coverage-memory layer to both systems, and neither improves outcomes. In the legacy stalled runs we could review, the limiting factor appeared to be planning and commitment rather than lost memory: agents held the evidence for a route forward and never turned it into a concrete exploitation hypothesis, which may suggest that offensive capability will advance with agents' ability to plan rather than with better memory. The same subtask scoring that tracks this capability is available to defenders, who can measure it as it rises instead of waiting to meet it in the field.
- Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、浸透テストにますます適用されていますが、何ができるか、どのように失敗するのかについては、まだほとんど分かっていません。
我々はPentestGPTベースの2つのシステムを比較した。オープンウェイトなKim K2.5を運用するレガシーな人力ループシステムと、Claude Opus 4.8を運用する新しい自律システムだ。
3つの公的な目標に対して、自律システムは3つすべてを解決する。
レガシーな結果は、この2つがより驚きます。
レガシーシステムが解決できないマシンでも、約半分のサブタスクを完了し、プロバイダのガードレールなしで通常の大学のGPU上で動作する。
モデル、ハーネス、自律性、メモリアーキテクチャがすべて一緒に変化するからです。
その方向性は、次の質問を示している: より複雑なタスクをこなす際に、これらのエージェントに何を制限するのか?
通常の答えは、ロングホライゾンメモリであり、ロングアタックチェーンにおける以前の発見へのアクセスの喪失である。
両方のシステムにカバレッジ・メモリ・レイヤを追加することでテストします。
エージェントは、前もってルートの証拠を保持し、それを具体的な搾取仮説に変えませんでした。
この能力を追跡するサブタスクスコアは、フィールドでそれを待つのではなく、上昇するにつれて測定できるディフェンダーに利用可能である。
関連論文リスト
- Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
反射型エージェントは、反復的な自己批判を通じて、すでに危険な計画ステップを検出している。
監査は問題を認識し、コントローラはそれを無視します。
実施確率がゼロに近い場合、検出品質はセキュリティとは無関係であることを正式に証明する。
論文 参考訳（メタデータ） (2026-09-14T09:46:59Z) - MazeRunner: Nonlinear Task and Clue Orchestration for LLM-driven Black-Box Automated Penetration Testing [40.54981107553332]
MazeRunnerは,3エージェントのタスク・アンド・キューオーケストレーションフレームワーク上に構築された,自律的な浸透テストシステムである。
MazeRunnerは47.7%の注釈付きサブタスクを完了しており、PentestGPT-V2は36.2%、Claude Codeは34.2%である。
論文 参考訳（メタデータ） (2026-08-14T11:46:15Z) - Negative Knowledge as Failure-aware Shared Memory for AutoResearch [0.2436681150766912]
キュレーターエージェントは、失敗した試行を共有バンク内の有界型付きレコードに変換する。
下流の研究エージェントは、次の実験を提案する前に、これらのレコードを明示的に採用または拒否する。
構造化された負の知識は、より広範なAIによる科学研究において明確に維持されるべき知識資産であることを示す。
論文 参考訳（メタデータ） (2026-06-19T01:23:10Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - A Hybrid Proactive And Predictive Framework For Edge Cloud Resource Management [5.40729975786985]
古いクラウドエッジのワークロードのリソース管理はリアクティブすぎる。静的なしきい値に依存する場合の問題は、必要以上に多くのリソースを消費し過ぎているか、その欠如のためにパフォーマンスが低下していることです。
そのために開発されたフレームワークは、問題に反応するのをやめるが、期待し始める。
時系列予測のためのCNN LSTMモデルと,マルチエージェントDeep Reinforcement Learningに基づくオーケストレータの2つの強力なツールを組み合わせたハイブリッドアーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-11-20T06:09:07Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。
エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。
実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
論文 参考訳（メタデータ） (2025-09-26T02:04:00Z) - Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving [62.71545696485824]
我々は,異種エージェントフレームワーク間のシームレスな体験共有を可能にするユニバーサルメモリ基盤であるAgent KBを紹介した。
Agent KBはトラジェクトリを構造化知識ベースに集約し、軽量APIを提供する。
我々は,GAIA,Humanity's Last Exam,GPQA,SWE-benchなどの主要フレームワークにまたがるエージェントを検証した。
論文 参考訳（メタデータ） (2025-07-08T17:59:22Z) - G-Memory: Tracing Hierarchical Memory for Multi-Agent Systems [44.844636264484905]
大規模言語モデル (LLM) を利用したマルチエージェントシステム (MAS) は、単一のLLMエージェントよりもはるかに高い認知と実行能力を示している。
組織記憶理論に触発されたMASのための階層型エージェントメモリシステムG-Memoryを紹介する。
Gメモリは、インボディードアクションの成功率と知識QAの精度を、それぞれ20.89%$と10.12%$で改善する。
論文 参考訳（メタデータ） (2025-06-09T03:43:46Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z) - Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。
我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。
MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
論文 参考訳（メタデータ） (2025-03-17T19:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。