論文の概要: Towards Production-Worthy Simulation for Autonomous Cyber Operations

• arxiv url: http://arxiv.org/abs/2508.19278v1
• Date: Sat, 23 Aug 2025 20:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.339979
• Title: Towards Production-Worthy Simulation for Autonomous Cyber Operations
• Title（参考訳）: 自律型サイバー運用のための生産・費用シミュレーションに向けて
• Authors: Konur Tholl, Mariam El Mezouar, Ranwa Al Mallah,
• Abstract要約: 我々は、Patch、Isolate、Unisolateという3つの新しいアクションを実装することで、CybORGのCage Challenge 2環境を拡張します。 そこで我々は,報酬信号とエージェントの特徴空間を改良し,訓練性能を向上させるエージェント開発の設計を提案する。
• 参考スコア（独自算出の注目度）: 0.37596343595976384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulated environments have proven invaluable in Autonomous Cyber Operations (ACO) where Reinforcement Learning (RL) agents can be trained without the computational overhead of emulation. These environments must accurately represent cybersecurity scenarios while producing the necessary signals to support RL training. In this study, we present a framework where we first extend CybORG's Cage Challenge 2 environment by implementing three new actions: Patch, Isolate, and Unisolate, to better represent the capabilities available to human operators in real-world settings. We then propose a design for agent development where we modify the reward signals and the agent's feature space to enhance training performance. To validate these modifications, we train DQN and PPO agents in the updated environment. Our study demonstrates that CybORG can be extended with additional realistic functionality, while maintaining its ability to generate informative training signals for RL agents.
• Abstract（参考訳）: シミュレーション環境は、Reinforcement Learning (RL)エージェントをエミュレーションの計算オーバーヘッドなしに訓練できる自律サイバーオペレーション(ACO)において、重要であることが証明されている。 これらの環境は、RLトレーニングをサポートするために必要な信号を生成しながら、サイバーセキュリティシナリオを正確に表現する必要がある。 本研究では,Patch,Isolate,Unisolateという3つの新しいアクションを実装することで,CybORGのCage Challenge 2環境を初めて拡張するフレームワークを提案する。 そこで我々は,報酬信号とエージェントの特徴空間を改良し,訓練性能を向上させるエージェント開発の設計を提案する。 これらの修正を検証するため、更新環境でDQNおよびPPOエージェントを訓練する。 我々の研究は、CybORGがRLエージェントに情報伝達信号を生成する能力を維持しつつ、さらなる現実的な機能で拡張できることを実証した。

関連論文リスト

• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)
• Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL [26.169030913260084]
  本研究では,移動と予測に基づくエージェントと環境の自己管理手法であるEgo-Foresightを提案する。 エージェントのビジュモータ予測による自己監督型エージェント認識は,RLアルゴリズムのサンプル効率と性能を向上させる。
  論文  参考訳（メタデータ） (2024-05-27T13:32:43Z)
• Towards Autonomous Cyber Operation Agents: Exploring the Red Case [3.805031560408777]
  強化・深部強化学習(RL/DRL)がサイバーネットワーク運用のための自律エージェントの開発に応用されている(CyOps)。 トレーニング環境は、エージェントが学び、達成することを目的とした、高い忠実度でCyOpsをシミュレートする必要があります。 優れたシミュレータは、サイバー環境の極端な複雑さのために達成し難い。
  論文  参考訳（メタデータ） (2023-09-05T13:56:31Z)
• Unified Emulation-Simulation Training Environment for Autonomous Cyber Agents [2.6001628868861504]
  本研究は,Cyber Gym for Intelligent Learning(CyGIL)において,高忠実度シミュレータの自動生成ソリューションを提案する。 CyGILは、シミュレートされたCyGIL-EがシミュレートされたCyGIL-Sを自動的に生成する統一されたCyOpトレーニング環境を提供する。 シミュレータ生成をエージェントトレーニングプロセスに統合し、必要なエージェントトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2023-04-03T15:00:32Z)
• CyGIL: A Cyber Gym for Training Autonomous Agents over Emulated Network Systems [3.2550963598419957]
  CyGILは、ネットワークサイバー操作のためのエミュレートされたRLトレーニング環境の実験ベッドである。 ステートレスな環境アーキテクチャを使用し、MITRE ATT&CKフレームワークを組み込んで、高品質なトレーニング環境を確立する。 その包括的なアクションスペースとフレキシブルなゲームデザインにより、エージェントトレーニングは特定の高度な永続脅威(APT)プロファイルに集中することができる。
  論文  参考訳（メタデータ） (2021-09-07T20:52:44Z)
• Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments [89.04823188871906]
  リアルタイム戦略(RTS)環境では,多様な現実シナリオの生成が難しい。 既存のシミュレータのほとんどは環境をランダムに生成することに頼っている。 我々は、研究者を支援するために、既存の形式シナリオ仕様言語であるSCENICを採用する利点を紹介する。
  論文  参考訳（メタデータ） (2021-06-18T21:49:46Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。