論文の概要: GAIL-PT: A Generic Intelligent Penetration Testing Framework with
Generative Adversarial Imitation Learning
- arxiv url: http://arxiv.org/abs/2204.01975v1
- Date: Tue, 5 Apr 2022 04:01:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 21:13:57.486794
- Title: GAIL-PT: A Generic Intelligent Penetration Testing Framework with
Generative Adversarial Imitation Learning
- Title（参考訳）: gail-pt: 生成的敵意学習を用いた汎用的インテリジェント侵入テストフレームワーク
- Authors: Jinyin Chen, Shulong Hu, Haibin Zheng, Changyou Xing, Guomin Zhang
- Abstract要約: RLをベースとしたPTにおいて,エージェントがよりよい判断を下すための専門家の知識を導入する。
GAIL-PTと表記される汎用的知的浸透テストフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.3309136820332164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Penetration testing (PT) is an efficient network testing and vulnerability
mining tool by simulating a hacker's attack for valuable information applied in
some areas. Compared with manual PT, intelligent PT has become a dominating
mainstream due to less time-consuming and lower labor costs. Unfortunately,
RL-based PT is still challenged in real exploitation scenarios because the
agent's action space is usually high-dimensional discrete, thus leading to
algorithm convergence difficulty. Besides, most PT methods still rely on the
decisions of security experts. Addressing the challenges, for the first time,
we introduce expert knowledge to guide the agent to make better decisions in
RL-based PT and propose a Generative Adversarial Imitation Learning-based
generic intelligent Penetration testing framework, denoted as GAIL-PT, to solve
the problems of higher labor costs due to the involvement of security experts
and high-dimensional discrete action space. Specifically, first, we manually
collect the state-action pairs to construct an expert knowledge base when the
pre-trained RL / DRL model executes successful penetration testings. Second, we
input the expert knowledge and the state-action pairs generated online by the
different RL / DRL models into the discriminator of GAIL for training. At last,
we apply the output reward of the discriminator to guide the agent to perform
the action with a higher penetration success rate to improve PT's performance.
Extensive experiments conducted on the real target host and simulated network
scenarios show that GAIL-PT achieves the SOTA penetration performance against
DeepExploit in exploiting actual target Metasploitable2 and Q-learning in
optimizing penetration path, not only in small-scale with or without honey-pot
network environments but also in the large-scale virtual network environment.
- Abstract（参考訳）: 侵入テスト(pt)は、ハッカーの攻撃を、いくつかの分野に適用する価値のある情報としてシミュレートすることで、効率的なネットワークテストと脆弱性マイニングツールである。
手動PTと比較すると、作業コストの削減と労働コストの削減により、インテリジェントPTが主流となっている。
残念ながら、RLをベースとしたPTは、エージェントのアクション空間が通常高次元離散であるため、実際の利用シナリオでは依然として挑戦されている。
さらに、ほとんどのPTメソッドはセキュリティ専門家の判断に依存している。
この課題に初めて対処し、rlベースのptにおいてエージェントがより良い意思決定を行うための専門家知識を導入し、セキュリティ専門家と高次元の個別行動空間の関与による高い労働コストの問題を解決するために、gail-ptと呼ばれるジェネリックインテリジェント侵入テストフレームワークを提案する。
具体的には、まず、事前学習されたRL/DRLモデルが浸透試験を成功させた場合に、状態-動作ペアを手動で収集し、専門家の知識ベースを構築する。
第2に、異なるRL/DRLモデルによってオンラインに生成されたエキスパート知識と状態-アクションペアをGAILの識別器に入力し、トレーニングを行う。
最後に, 判別器の出力報酬を適用し, エージェントがptの性能を改善するために, 高い浸透率で行動を行うように誘導する。
実対象ホストおよびシミュレーションネットワークシナリオを用いた広範な実験により,gail-ptは,ハニーポットネットワーク環境の有無にかかわらず,大規模仮想ネットワーク環境においても,実対象metasploitable2およびq-learningを活用し,deepexploitに対するsoma浸透性能を実現した。
関連論文リスト
- AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z) - A Simple Solution for Offline Imitation from Observations and Examples
with Possibly Incomplete Trajectories [122.11358440078581]
オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。
本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
論文 参考訳（メタデータ） (2023-11-02T15:41:09Z) - Testing of Deep Reinforcement Learning Agents with Surrogate Models [10.243488468625786]
近年,Deep Reinforcement Learning (DRL) が研究コミュニティから注目を集めている。
本稿では,このようなエージェントを探索的に検証する手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T06:21:39Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Constrained Reinforcement Learning for Robotics via Scenario-Based
Programming [64.07167316957533]
DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。
本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。
我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
論文 参考訳（メタデータ） (2022-06-20T07:19:38Z) - A Search-Based Testing Approach for Deep Reinforcement Learning Agents [1.1580916951856255]
本稿では、DRLエージェントのポリシーをテストするために、検索に基づく強化学習エージェント(STARLA)のテスト手法を提案する。
我々は、機械学習モデルと専用の遺伝的アルゴリズムを使用して、故障エピソードに対する探索を絞り込みます。
論文 参考訳（メタデータ） (2022-06-15T20:51:33Z) - REIN-2: Giving Birth to Prepared Reinforcement Learning Agents Using
Reinforcement Learning Agents [0.0]
本稿では,課題学習の目的を課題(あるいは課題の集合)の目的にシフトさせるメタラーニング手法を提案する。
我々のモデルであるREIN-2は、RLフレームワーク内で構成されたメタ学習スキームであり、その目的は、他のRLエージェントの作り方を学ぶメタRLエージェントを開発することである。
従来の最先端のDeep RLアルゴリズムと比較して、実験結果は、人気のあるOpenAI Gym環境において、我々のモデルの顕著な性能を示している。
論文 参考訳（メタデータ） (2021-10-11T10:13:49Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:40Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。