論文の概要: Hackers or Hallucinators? A Comprehensive Analysis of LLM-Based Automated Penetration Testing

• arxiv url: http://arxiv.org/abs/2604.05719v1
• Date: Tue, 07 Apr 2026 11:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.782506
• Title: Hackers or Hallucinators? A Comprehensive Analysis of LLM-Based Automated Penetration Testing
• Title（参考訳）: ハッカーか幻覚師か? LLMによる自動浸透試験の総合的分析
• Abstract要約: 本稿では,現在のLLMベースのAutoPTフレームワークのアーキテクチャ設計と包括的評価について述べる。 システム化のレベルでは、エージェントアーキテクチャ、エージェントプラン、エージェントメモリ、エージェント実行、外部知識、ベンチマークの6つの領域にわたる既存のフレームワーク設計を網羅的にレビューする。 我々は,13のオープンソースAutoPTフレームワークと2つのベースラインフレームワークに対して,統一ベンチマークを用いた大規模な実験を行った。
• 参考スコア（独自算出の注目度）: 24.385209087891116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has created new opportunities for Automated Penetration Testing (AutoPT), spawning numerous frameworks aimed at achieving end-to-end autonomous attacks. However, despite the proliferation of related studies, existing research generally lacks systematic architectural analysis and large-scale empirical comparisons under a unified benchmark. Therefore, this paper presents the first Systematization of Knowledge (SoK) focusing on the architectural design and comprehensive empirical evaluation of current LLM-based AutoPT frameworks. At systematization level, we comprehensively review existing framework designs across six dimensions: agent architecture, agent plan, agent memory, agent execution, external knowledge, and benchmarks. At empirical level, we conduct large-scale experiments on 13 representative open-source AutoPT frameworks and 2 baseline frameworks utilizing a unified benchmark. The experiments consumed over 10 billion tokens in total and generated more than 1,500 execution logs, which were manually reviewed and analyzed over four months by a panel of more than 15 researchers with expertise in cybersecurity. By investigating the latest progress in this rapidly developing field, we provide researchers with a structured taxonomy to understand existing LLM-based AutoPT frameworks and a large-scale empirical benchmark, along with promising directions for future research.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、Automated Peretration Testing(AutoPT)の新たな機会を生み出し、エンドツーエンドの自律攻撃の実現を目的とした、数多くのフレームワークを生み出した。 しかしながら、関連する研究が急増しているにもかかわらず、既存の研究は一般に、体系的なアーキテクチャ分析と、統一されたベンチマークの下での大規模な経験的比較を欠いている。 そこで本論文では,LLMベースのAutoPTフレームワークのアーキテクチャ設計と包括的実証評価に焦点を当てた,最初のSoK(Systematization of Knowledge)を提案する。 システム化のレベルでは、エージェントアーキテクチャ、エージェントプラン、エージェントメモリ、エージェント実行、外部知識、ベンチマークの6つの領域にわたる既存のフレームワーク設計を網羅的にレビューする。 実験レベルでは、13の代表的なオープンソースAutoPTフレームワークと2つのベースラインフレームワークに対して、統一されたベンチマークを用いて大規模な実験を行う。 この実験は合計で100億枚以上のトークンを消費し、1500件以上の実行ログを生成しました。 この急速に発展している分野の最新の進歩を調査することにより、既存のLCMベースのAutoPTフレームワークと大規模実証ベンチマークを理解するための構造的分類法と、今後の研究に向けての有望な方向性を研究者に提供する。

関連論文リスト

• A Survey of LLM-Driven Penetration Testing: Taxonomy, Co-Evolution, and Open Challenges [39.189948044905364]
  文献は評価ベンチマーク,汎用システム,ドメイン固有のフレームワーク,CTFベースのシステム,防衛指向研究,調査の6つのカテゴリに分類される。 まず、RLVRは、専門家によるデモンストレーションの模倣から報酬駆動による自己改善への能力獲得のシフトを示す。 第二に、CTFプラットフォームはテストベッドの評価からエージェント評価とRLトレーニングの両方のための多目的インフラストラクチャへと進化してきた。
  論文  参考訳（メタデータ） (2026-07-01T13:24:25Z)
• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• FROAV: A Framework for RAG Observation and Agent Verification - Lowering the Barrier to LLM Agent Research [0.5729426778193398]
  本稿では,LLM(Large Language Models)エージェント研究を民主化する,オープンソースの研究プラットフォームであるFROAVを紹介する。 FROAVは、マルチステージのRetrieval-Augmented Generation (RAG)パイプラインと、厳格な"LLM-as-a-Judge"評価システムを実装している。 我々のフレームワークは、ノーコードワークフロー設計にn8n、フレキシブルバックエンドロジックにFastAPI、ヒューマン・イン・ザ・ループインタラクションにStreamlitを統合しています。
  論文  参考訳（メタデータ） (2026-01-12T13:02:32Z)
• HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
  HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。 単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。 批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
  論文  参考訳（メタデータ） (2026-01-04T22:16:42Z)
• An Agentic Framework for Autonomous Materials Computation [70.24472585135929]
  大規模言語モデル(LLM)は、科学的発見を加速するための強力なツールとして登場した。 近年の進歩はLLMをエージェントフレームワークに統合し、複雑な科学実験のための検索、推論、ツールの使用を可能にしている。 本稿では,第一原理計算の信頼性向上を目的としたドメイン特化エージェントを提案する。
  論文  参考訳（メタデータ） (2025-12-22T15:03:57Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
  textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。 我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。 我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:57:24Z)
• EpidemIQs: Prompt-to-Paper LLM Agents for Epidemic Modeling and Analysis [0.0]
  大規模言語モデル(LLM)は、複雑な学際研究を自動化する新しい機会を提供する。 EpidemIQsは、ユーザ入力を統合し、文献のレビュー、分析的導出、ネットワークモデリング、シミュレーションの呼び出し、データの可視化と分析、そして最後に構造化された原稿での発見の文書化を行う、新しいマルチエージェントLCMフレームワークである。 我々は、計算コスト、完成率、AIおよび生成されたレポートの人間専門家レビューを測定する様々なシナリオにおいて、エピデムIQを評価した。
  論文  参考訳（メタデータ） (2025-09-24T18:54:56Z)
• Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
  Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。 本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
  論文  参考訳（メタデータ） (2025-06-22T16:52:48Z)
• Integrating Large Language Models for Automated Structural Analysis [0.7373617024876725]
  本稿では,Large Language Models (LLM) と構造解析ソフトウェアを統合するフレームワークを提案する。 LLMはテキストから構造記述を解析し、それらをPythonスクリプトに変換する。 ドメイン固有のプロンプト設計とコンテキスト内学習戦略を採用し、LLMの問題解決能力と生成安定性を高める。
  論文  参考訳（メタデータ） (2025-04-13T23:10:33Z)
• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
  本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。 自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。 調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。