論文の概要: DYNAS: A Dynamic Network Penetration Testing Framework Using Deep Hierarchical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.40214v1
• Date: Thu, 29 Oct 2026 14:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.522147
• Title: DYNAS: A Dynamic Network Penetration Testing Framework Using Deep Hierarchical Reinforcement Learning
• Title（参考訳）: DYNAS: 階層的強化学習を用いた動的ネットワーク浸透試験フレームワーク
• Abstract要約: 本稿では、パラメータ化された大規模シナリオ生成とステートフルな侵入検知応答を組み合わせたDYNAS(Dynamic Network Attack Simulator)を提案する。 IDS条件のグローバルコンテキストを用いて永続的なサブゴールを選択するPen-DHRLも導入する。
• 参考スコア（独自算出の注目度）: 0.8644909837301148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As network scale and uncertainty complicate automated penetration testing, reinforcement learning (RL) environments must support controlled evaluation under defensive and non-stationary conditions. We present DYNAS (Dynamic Network Attack Simulator), which combines parameterized large-scale scenario generation with stateful intrusion detection responses, explicit scan false-positive and false-negative noise, temporary service unavailability, and duration-based action timeouts. We further introduce Pen-DHRL, a recurrent manager--worker policy that selects persistent subgoals using IDS-conditioned global context. We compare Pen-DHRL with GNN, Invariant, and Attention baselines across four scenario variants and multiple training regimes. Under IDS-disabled training followed by IDS-enabled evaluation, Pen-DHRL obtains approximately 64\% and 24\% higher reward per step on Bridge and Dynamic, respectively, and approximately 26\% and 30\% more captured hosts on VarA and VarB than the next-best baseline. With all defensive dynamics active from the beginning of training, Pen-DHRL achieves positive mean episode returns in all four scenarios, whereas the flat baselines produce negative mean returns in all 12 architecture--scenario combinations; staged curriculum training produces positive mean returns across all 16 evaluated combinations.
• Abstract（参考訳）: ネットワークスケールと不確実性は自動浸透試験を複雑にするので、強化学習(RL)環境は防御および非定常条件下での制御評価をサポートしなければならない。 DYNAS(Dynamic Network Attack Simulator)は,パラメータ化された大規模シナリオ生成とステートフルな侵入検知応答,明示的なスキャン偽陽性・偽陰性ノイズ,一時的サービス利用不可,持続時間に基づく行動タイムアウトを併用する。 IDS条件のグローバルコンテキストを用いて永続的なサブゴールを選択するPen-DHRLについても紹介する。 我々は、Pen-DHRLとGNN、Invariant、Atentionのベースラインを4つのシナリオ変種と複数のトレーニング体制で比較する。 IDS対応トレーニングとIDS対応評価では、Pen-DHRLはブリッジとダイナミックのステップあたりの報酬が約64\%と24\%高く、VarAとVarBのホストは次のベストベースラインよりも約26\%と30\%高い。 トレーニング開始当初から全ての防御的ダイナミクスが有効であり、Pen-DHRLは4つのシナリオすべてで肯定的な平均エピソードリターンを達成する一方、フラットベースラインは12のアーキテクチャの組み合わせすべてで否定的な平均リターンを生成する。

関連論文リスト

• RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning [0.34410212782758043]
  Deep Reinforcement Learning (DRL)は、ロボット工学と自律システムにおいて大きな成功を収めた。 敵対的強化学習の研究は、しばしば断片化された実装、一貫性のない評価プロトコル、貧弱な堅牢性メトリクスによって制限される。 我々は、ポリシ、アタック、ディフェンス、ロバストネスメトリクスの統一的な抽象化を提供するオープンソースのベンチマークフレームワークである textbfRoAd-RL を提案する。
  論文  参考訳（メタデータ） (2026-06-29T07:03:45Z)
• AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning [25.32049139462467]
  既存の適応ルーブリックメソッドは、現在のバッチやインスタンスレベルの比較のようなローカルエビデンスから基準を更新する。 AMARIS(AMemory-Augmented Improvement System)を導入する。 AMARISはロールアウト分析、ステップレベルサマリー、ルーブリック更新レコードを永続的な評価メモリに格納し、更新に関連のある最近の履歴を検索する。
  論文  参考訳（メタデータ） (2026-05-18T16:06:27Z)
• Learning-Zone Energy: Online Data Selection for Efficient RL Post-Training [28.00739954235118]
  そこで本研究では,モデルにおけるアクティブな学習フロンティアに焦点をあてた,理論的基盤を持つ完全オンラインデータ選択フレームワークを提案する。 リプレイ付きフォワードプルーナーは、永続的に解決されたプロンプトのロールアウト生成をスキップすることで、ウォールクロック時間コストをさらに低減する。 我々の方法は1ステップあたりのトレーニングデータの40%しか保持しないが、完全なデータベースラインにマッチまたは超えている。
  論文  参考訳（メタデータ） (2026-05-16T14:01:12Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)
• Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR [110.90317717368264]
  RLVRトレーニングのためのオンライン変分問題合成(SvS)戦略を提案する。 この戦略は、トレーニング中のポリシーのエントロピーを効果的に維持し、標準のRLVRと比較してPass@kを大幅に改善する。
  論文  参考訳（メタデータ） (2025-08-19T17:42:45Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network [23.481553466650453]
  本稿では,粗大かつ自己回帰的な方法でQ値をモデル化する値ベースRLアルゴリズムであるARSQを提案する。 ARSQは、連続的な作用空間を粗い階層の離散空間に分解し、きめ細かい連続制御タスクのサンプル効率を高める。 決定ステップごとに次元的行動の利点を自動回帰予測し、継続的な制御タスクにおいてより効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-01T03:04:53Z)
• DRL4Route: A Deep Reinforcement Learning Framework for Pick-up and Delivery Route Prediction [21.335721424944257]
  ルート予測タスクにRL(Reinforcement Learning)を一般化する最初の試みとして,DRL4Routeと呼ばれる新しいRLベースのフレームワークを提案する。 DRL4Routeは既存のディープラーニングモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する。 これは、一般化アドバンテージ推定器を備えたアクター批判アーキテクチャに従う。
  論文  参考訳（メタデータ） (2023-07-30T14:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。