論文の概要: A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges

• arxiv url: http://arxiv.org/abs/2607.02605v1
• Date: Wed, 01 Jul 2026 13:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 13:39:15.064428
• Title: A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges
• Title（参考訳）: LLM駆動浸透試験に関する調査:分類学、共進化、オープンチャレンジ
• Authors: Zheyuan He, Jiaxun Dong, Zihao Li, Ting Chen, Gelei Deng, Feng Luo, Jinkun Ji, Yuanlong Cao, Xiapu Luo,
• Abstract要約: 文献は評価ベンチマーク,汎用システム,ドメイン固有のフレームワーク,CTFベースのシステム,防衛指向研究,調査の6つのカテゴリに分類される。 まず、RLVRは、専門家によるデモンストレーションの模倣から報酬駆動による自己改善への能力獲得のシフトを示す。 第二に、CTFプラットフォームはテストベッドの評価からエージェント評価とRLトレーニングの両方のための多目的インフラストラクチャへと進化してきた。
• 参考スコア（独自算出の注目度）: 39.189948044905364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agents4Pentest, an emerging class of LLM-based autonomous penetration testing systems, has become a rapidly growing area in security research. Despite this growth, the field still lacks a unified taxonomy, a systematic understanding of how agent architectures and evaluation benchmarks have co-evolved, and a clear characterization of remaining capability and reliability gaps. This survey addresses these gaps through a systematic analysis of 81 papers between 2023 and 2026. We organize the literature into six categories: evaluation benchmarks, general-purpose systems, domain-specific frameworks, CTF-based systems, defense-oriented research, and surveys. We further trace a four-phase architectural evolution from text-only reasoning agents to agents trained with Reinforcement Learning with Verifiable Rewards (RLVR), showing that each transition is driven by a distinct capability bottleneck. Our analysis yields several key findings. First, RLVR marks a shift in capability acquisition from imitation of expert demonstrations to reward-driven self-improvement, enabling agents to discover previously undocumented attack strategies. Second, CTF platforms have evolved from evaluation testbeds into dual-purpose infrastructure for both agent evaluation and RL training. Third, domain-specific frameworks improve efficiency through recurring specialization mechanisms, but their gains remain largely confined to narrow task classes and are difficult to compare across domains because existing evaluations rely on different benchmarks. Fourth, the field is expanding beyond offensive automation toward adversarial defense and security compliance. Across these categories, we identify three structurally linked open challenges: evaluation reliability, limited performance on multi-stage attack scenarios, and scarcity of high-quality training data.
• Abstract（参考訳）: エージェント4ペンテスト(Agens4Pentest)は、LLMベースの自律浸透試験システムの新興クラスであり、セキュリティ研究において急速に成長している。 この成長にもかかわらず、この分野には統一された分類学、エージェントアーキテクチャと評価ベンチマークがどのように発展してきたかの体系的な理解、残った能力と信頼性のギャップの明確化がまだ欠けている。 この調査は、2023年から2026年にかけての81の論文の体系的な分析を通じて、これらのギャップに対処する。 文献は評価ベンチマーク,汎用システム,ドメイン固有のフレームワーク,CTFベースのシステム,防衛指向研究,調査の6つのカテゴリに分類される。 さらに、テキストのみの推論エージェントから、Reinforcement Learning with Verifiable Rewards (RLVR) で訓練されたエージェントまで、4段階のアーキテクチャ進化をトレースし、各遷移が異なる能力ボトルネックによって駆動されることを示す。 我々の分析はいくつかの重要な発見をもたらす。 第一に、RLVRは専門家によるデモンストレーションの模倣から報酬駆動による自己改善への移行であり、エージェントは未文書の攻撃戦略を発見できる。 第二に、CTFプラットフォームはテストベッドの評価からエージェント評価とRLトレーニングの両方のための多目的インフラストラクチャへと進化してきた。 第三に、ドメイン固有のフレームワークは、反復的な特殊化メカニズムによって効率を改善するが、その利益は、タスククラスが狭いことに限定されており、既存の評価は異なるベンチマークに依存しているため、ドメイン間で比較することが困難である。 第4に、この分野は攻撃的な自動化を超えて、敵の防衛とセキュリティのコンプライアンスへと拡大している。 これらのカテゴリ全体で、評価信頼性、マルチステージ攻撃シナリオでの限られたパフォーマンス、高品質なトレーニングデータの不足という、3つの構造的にリンクされたオープン課題を特定します。

関連論文リスト

• LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges [4.655159257282136]
  この調査は,大規模言語モデル(LLM)に基づく科学的ピアレビューのシステムレベル分析を提供する。 批判生成とスコア予測という2つの中心的評価関数に注目した。 プロンプトインジェクション、データ中毒、検索脆弱性、報酬ハッキングなど、新興のリスクを特定します。
  論文  参考訳（メタデータ） (2026-06-23T18:12:39Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• Towards Secure Agent Skills: Architecture, Threat Taxonomy, and Security Analysis [16.858784442027037]
  本稿では,エージェントスキルフレームワークの総合的セキュリティ解析について述べる。 3つの攻撃層にまたがって組織された7つのカテゴリと17のシナリオからなる脅威分類を構築した。 我々の分析によると、最も深刻な脅威はフレームワーク自体の構造的特性から生じている。
  論文  参考訳（メタデータ） (2026-04-03T07:56:42Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Agent-as-a-Judge [20.902198303020693]
  LLM-as-a-Judgeは、スケーラブルな評価に大規模言語モデルを活用することで、AI評価に革命をもたらした。 評価が複雑化し、専門化され、多段階化されるにつれて、LLM-as-a-Judgeの信頼性は、固有のバイアス、浅いシングルパス推論、現実世界の観測に対する評価の欠如によって制約されている。 これはエージェント・アズ・ア・ジャッジ(Agen-as-a-Judge)への移行を触媒し、エージェント・ジャッジは計画、ツール強化された検証、マルチエージェント・コラボレーション、永続メモリを採用し、より堅牢で検証可能な、ニュアンスな評価を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T16:58:10Z)
• An Empirical Study on Failures in Automated Issue Solving [12.571536148821144]
  我々は,SWE-Bench-Verifiedの自動問題解決タスクにおいて,パイプラインベースとエージェントアーキテクチャの両方にまたがる3つのSOTAツールの性能と効率を分析する。 ハイレベルなパフォーマンス指標から根本原因分析に移行するために,150件の障害事例の体系的手動分析を行った。 その結果、2つのアーキテクチャパラダイムの間には明確な失敗の指紋が明らかとなり、ほとんどのエージェント的失敗は、欠陥のある推論と認知的デッドロックに起因する。
  論文  参考訳（メタデータ） (2025-09-17T13:07:52Z)
• Toward Generalizable Evaluation in the LLM Era: A Survey Beyond Benchmarks [229.73714829399802]
  この調査は、大規模言語モデルの台頭が評価に役立っている中核的な課題を調査する。 i) タスク固有のものから能力に基づく評価へと、知識、推論、指示に従うこと、マルチモーダル理解、安全性といったコア能力に関するベンチマークを再編成する。 この問題と、上記の2つのトランジションの中核的な課題を、メソッド、データセット、評価器、メトリクスの観点から検討する。
  論文  参考訳（メタデータ） (2025-04-26T07:48:52Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。