論文の概要: Unified Emulation-Simulation Training Environment for Autonomous Cyber Agents

• arxiv url: http://arxiv.org/abs/2304.01244v1
• Date: Mon, 3 Apr 2023 15:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 16:54:29.160783
• Title: Unified Emulation-Simulation Training Environment for Autonomous Cyber Agents
• Title（参考訳）: 自律型サイバーエージェントのための統一エミュレーションシミュレーション訓練環境
• Authors: Li Li, Jean-Pierre S. El Rami, Adrian Taylor, James Hailing Rao, and Thomas Kunz
• Abstract要約: 本研究は,Cyber Gym for Intelligent Learning(CyGIL)において,高忠実度シミュレータの自動生成ソリューションを提案する。 CyGILは、シミュレートされたCyGIL-EがシミュレートされたCyGIL-Sを自動的に生成する統一されたCyOpトレーニング環境を提供する。 シミュレータ生成をエージェントトレーニングプロセスに統合し、必要なエージェントトレーニング時間を短縮する。
• 参考スコア（独自算出の注目度）: 2.6001628868861504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous cyber agents may be developed by applying reinforcement and deep reinforcement learning (RL/DRL), where agents are trained in a representative environment. The training environment must simulate with high-fidelity the network Cyber Operations (CyOp) that the agent aims to explore. Given the complexity of net-work CyOps, a good simulator is difficult to achieve. This work presents a systematic solution to automatically generate a high-fidelity simulator in the Cyber Gym for Intelligent Learning (CyGIL). Through representation learning and continuous learning, CyGIL provides a unified CyOp training environment where an emulated CyGIL-E automatically generates a simulated CyGIL-S. The simulator generation is integrated with the agent training process to further reduce the required agent training time. The agent trained in CyGIL-S is transferrable directly to CyGIL-E showing full transferability to the emulated "real" network. Experimental results are presented to demonstrate the CyGIL training performance. Enabling offline RL, the CyGIL solution presents a promising direction towards sim-to-real for leveraging RL agents in real-world cyber networks.
• Abstract（参考訳）: 自律型サイバーエージェントは、エージェントが代表的環境で訓練される強化および深層強化学習(RL/DRL)を適用して開発することができる。 トレーニング環境は、エージェントが探索しようとするネットワークサイバーオペレーション(CyOp)の高忠実度をシミュレートする必要がある。 ネットワークのcyopsの複雑さを考えると、良いシミュレータは達成が難しい。 本研究は,Cyber Gym for Intelligent Learning (CyGIL)において,高忠実度シミュレータを自動生成する手法を提案する。 表現学習と連続学習を通じて、CyGIL-EがシミュレートされたCyGIL-Sを自動的に生成する統一されたCyOpトレーニング環境を提供する。 シミュレータ生成はエージェントトレーニングプロセスと統合され、必要なエージェントトレーニング時間を更に短縮する。 CyGIL-Sで訓練されたエージェントは、エミュレートされた「リアル」ネットワークへの完全な転送性を示すCyGIL-Eに直接転送可能である。 サイギルトレーニング性能を実証するために実験を行った。 オフラインでRLを実行するCyGILソリューションは、現実のサイバーネットワークでRLエージェントを活用するためのsim-to-realに向けた有望な方向を示す。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Towards Autonomous Cyber Operation Agents: Exploring the Red Case [3.805031560408777]
  強化・深部強化学習(RL/DRL)がサイバーネットワーク運用のための自律エージェントの開発に応用されている(CyOps)。 トレーニング環境は、エージェントが学び、達成することを目的とした、高い忠実度でCyOpsをシミュレートする必要があります。 優れたシミュレータは、サイバー環境の極端な複雑さのために達成し難い。
  論文  参考訳（メタデータ） (2023-09-05T13:56:31Z)
• Enabling A Network AI Gym for Autonomous Cyber Agents [2.789574233231923]
  本研究は、強化・深層強化学習(RL/DRL)を適用して、ネットワークサイバーオペレーション(CyOps)のための自律エージェントの実現を目的とする。 必要となるRLトレーニング環境は、実際のネットワークエミュレーションによって達成される高忠実さの必要性と、シミュレーションを使用して最も達成される多数のトレーニングエピソードを実行する必要性のバランスをとる必要があるため、特に困難である。 シミュレーションされたCyGIL-EがシミュレートされたCyGIL-Sを自動生成する統合学習環境であるCyGIL(CyGIL)を開発する。
  論文  参考訳（メタデータ） (2023-04-03T20:47:03Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation [4.597465975849579]
  強化学習(Reinforcement Learning、RL)は、ロボットに物理的な世界の中をナビゲートするように教えるエージェントベースのアプローチである。 本稿では,AirSim上に構築された並列学習を効率的に行うシミュレーションフレームワークを提案する。 このフレームワーク上に構築されたApe-Xは、AirSim環境の分散トレーニングを組み込むように修正されている。
  論文  参考訳（メタデータ） (2022-09-22T15:27:42Z)
• Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems [79.07468367923619]
  ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。 我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。 提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-19T16:49:32Z)
• CyGIL: A Cyber Gym for Training Autonomous Agents over Emulated Network Systems [3.2550963598419957]
  CyGILは、ネットワークサイバー操作のためのエミュレートされたRLトレーニング環境の実験ベッドである。 ステートレスな環境アーキテクチャを使用し、MITRE ATT&CKフレームワークを組み込んで、高品質なトレーニング環境を確立する。 その包括的なアクションスペースとフレキシブルなゲームデザインにより、エージェントトレーニングは特定の高度な永続脅威(APT)プロファイルに集中することができる。
  論文  参考訳（メタデータ） (2021-09-07T20:52:44Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。