論文の概要: Autonomous Penetration Testing: Solving Capture-the-Flag Challenges with LLMs

• arxiv url: http://arxiv.org/abs/2508.01054v1
• Date: Fri, 01 Aug 2025 20:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.683363
• Title: Autonomous Penetration Testing: Solving Capture-the-Flag Challenges with LLMs
• Title（参考訳）: 自律浸透試験 - LLMによるキャプチャー・ザ・フラッグの課題の解決
• Authors: Isabelle Bakker, John Hastings,
• Abstract要約: 本研究は,OverTheWireのBanditキャプチャ・ザ・フラッグゲームにモデルを接続することにより,GPT-4oが初心者レベルの攻撃的セキュリティタスクを自律的に解く能力を評価する。 技術的に単一コマンドSSHフレームワークと互換性のある25のレベルのうち、GPT-4oは18の無効化と、全体の80%の成功率を示す最小のプロンプトのヒントの後に2のレベルを解決した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study evaluates the ability of GPT-4o to autonomously solve beginner-level offensive security tasks by connecting the model to OverTheWire's Bandit capture-the-flag game. Of the 25 levels that were technically compatible with a single-command SSH framework, GPT-4o solved 18 unaided and another two after minimal prompt hints for an overall 80% success rate. The model excelled at single-step challenges that involved Linux filesystem navigation, data extraction or decoding, and straightforward networking. The approach often produced the correct command in one shot and at a human-surpassing speed. Failures involved multi-command scenarios that required persistent working directories, complex network reconnaissance, daemon creation, or interaction with non-standard shells. These limitations highlight current architectural deficiencies rather than a lack of general exploit knowledge. The results demonstrate that large language models (LLMs) can automate a substantial portion of novice penetration-testing workflow, potentially lowering the expertise barrier for attackers and offering productivity gains for defenders who use LLMs as rapid reconnaissance aides. Further, the unsolved tasks reveal specific areas where secure-by-design environments might frustrate simple LLM-driven attacks, informing future hardening strategies. Beyond offensive cybersecurity applications, results suggest the potential to integrate LLMs into cybersecurity education as practice aids.
• Abstract（参考訳）: 本研究は,OverTheWireのBanditキャプチャ・ザ・フラッグゲームにモデルを接続することにより,GPT-4oが初心者レベルの攻撃的セキュリティタスクを自律的に解く能力を評価する。 技術的に単一コマンドSSHフレームワークと互換性のある25のレベルのうち、GPT-4oは18の無効化と、全体の80%の成功率を示す最小のプロンプトのヒントの後に2のレベルを解決した。 このモデルは、Linuxファイルシステムのナビゲーション、データ抽出や復号化、単純なネットワークといった単一ステップの課題に優れていた。 このアプローチは、しばしば正しいコマンドを1ショットと人間の通過速度で生成した。 失敗には、永続的な作業ディレクトリ、複雑なネットワーク偵察、デーモン生成、標準でないシェルとのインタラクションを必要とする複数のコマンドシナリオが含まれていた。 これらの制限は、一般的なエクスプロイト知識の欠如よりも、現在のアーキテクチャ上の欠陥を浮き彫りにする。 その結果,大規模言語モデル(LLM)は初歩的な侵入テストワークフローのかなりの部分を自動化し,攻撃者の専門的障壁を低くし,LLMを迅速な偵察支援として使用するディフェンダーに生産性向上を提供する可能性が示唆された。 さらに、未解決のタスクは、セキュア・バイ・デザイン環境が単純なLCM駆動攻撃をフラストレーションし、将来のハードニング戦略を示す特定の領域を明らかにする。 攻撃的なサイバーセキュリティアプリケーション以外にも、結果としてLLMを実践支援としてサイバーセキュリティ教育に統合する可能性も示唆されている。

関連論文リスト

• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• Vulnerability Mitigation System (VMS): LLM Agent and Evaluation Framework for Autonomous Penetration Testing [0.0]
  人間の介入なしに侵入試験を行うことのできる脆弱性軽減システム(VMS)を提案する。 VMSには、計画のための2つのアーキテクチャと、コマンドの生成とフィードバックの処理を可能にするSummarizerがある。 テストの標準化のために,PicoCTFとOverTheWireをベースとした2つの新しいCapture the Flagベンチマークを設計した。
  論文  参考訳（メタデータ） (2025-07-14T06:19:17Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Construction and Evaluation of LLM-based agents for Semi-Autonomous penetration testing [0.0]
  高性能大規模言語モデル (LLM) は様々な領域にまたがって進歩している。 サイバーセキュリティのような高度な専門分野において、完全な自律性は依然として課題である。 本稿では,複数のLLMモジュールを用いて,複雑なサイバーセキュリティを半自律的に実行するシステムを提案する。
  論文  参考訳（メタデータ） (2025-02-21T15:02:39Z)
• Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks [3.11537581064266]
  本稿では,Large Language Model (LLM) 駆動の自律システムを用いて,現実のMicrosoft Active Directory (AD) エンタープライズネットワークにおける課題に対処することの実現可能性と有効性について検討する。 当社のプロトタイプであるcochiseは,Microsoft ADテストベッド(GOAD)内でアカウントを共用可能な,完全に自律的なLLM駆動フレームワークの最初のデモである。 主要な発見は、攻撃戦略を動的に適用し、コンテキスト間攻撃を実行し、シナリオ固有の攻撃パラメータを生成する能力を強調している。
  論文  参考訳（メタデータ） (2025-02-06T17:12:43Z)
• Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
  大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。 この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。 本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T12:42:33Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• How Far Have We Gone in Vulnerability Detection Using Large Language Models [15.09461331135668]
  包括的な脆弱性ベンチマークであるVulBenchを紹介します。 このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。 いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T08:20:39Z)
• LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks [0.0]
  言語モデル(LLM)と浸透試験の共通点について検討する。 本稿では,LLMの(倫理的)ハッキングに対する有効性を評価するための,完全自動特権エスカレーションツールを提案する。 我々は,異なるコンテキストサイズ,コンテキスト内学習,任意の高レベルメカニズム,メモリ管理技術の影響を分析する。
  論文  参考訳（メタデータ） (2023-10-17T17:15:41Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。