論文の概要: Crossing the Cyber Divide: Sim-to-Sim and Sim-to-Real Transfer for RL Agents

• arxiv url: http://arxiv.org/abs/2610.00759v1
• Date: Wed, 30 Sep 2026 21:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.789867
• Title: Crossing the Cyber Divide: Sim-to-Sim and Sim-to-Real Transfer for RL Agents
• Title（参考訳）: サイバーディバイドを横切る:RLエージェントのシミュレートとシミュレート
• Abstract要約: 我々は,サイバー環境間の政策伝達について検討し,シミュレーター・シミュレーションとシミュレータ・トゥ・リアル・トランスファーを,同じアライメント問題の事例とみなすことができると論じる。 本研究では,状態アライメントと行動翻訳を分離するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.6459792692733882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cyber attack agents are typically trained and evaluated within a single simulator, making it unclear whether learned policies transfer beyond the environments in which they were developed. This limitation hinders both deployment and fair comparison, as cyber simulators differ substantially in their state representations, observation models, and action spaces. In this paper, we study policy transfer across cyber environments and argue that simulator-to-simulator and simulator-to-real transfer can be viewed as instances of the same underlying alignment problem. We propose a framework that separates state alignment from action translation, enabling a policy trained in one environment to operate in another without retraining. We evaluate transfer across four cyber platforms, CyberBattleSim, NetSecGame, CyberWheel, and NASim, including emulated deployments in NASim. Our experiments show that zero-shot transfer is feasible, fully preserving source-policy performance in closely aligned environments and achieving 45.2% win rates when transferring policies whose source performance is 60.5%. In emulated virtual machine environments, transferred policies exhibit a Jensen-Shannon divergence of 0.085 from native policies, indicating strong behavioral similarity. Code and benchmarks are available at: https://anonymous.4open.science/r/RL-Transfer-between-env-4F47/.
• Abstract（参考訳）: サイバー攻撃エージェントは通常、単一のシミュレータ内で訓練され、評価される。 この制限は、サイバーシミュレータが状態表現、観察モデル、行動空間に大きく異なるため、展開と公正な比較の両方を妨げる。 本稿では,サイバー環境間の政策伝達について検討し,シミュレーション・シミュレーション・シミュレーションとシミュレータ・トゥ・リアル・トランスファーを同一のアライメント問題の事例とみなすことができると論じる。 本研究では,状態アライメントと行動翻訳を分離するフレームワークを提案する。 我々は、NASimでのエミュレートを含む、CyberBattleSim、NetSecGame、CyberWheel、NASimの4つのサイバープラットフォーム間の転送を評価する。 実験の結果、ゼロショット転送は実現可能であり、密集した環境でのソースポリティクスの完全保存が可能であり、ソースパフォーマンスが60.5%のポリシーの転送時に45.2%の勝利率を達成した。 エミュレートされた仮想マシン環境において、転送されたポリシーは、ネイティブポリシーから0.085のJensen-Shannon分岐を示し、強い行動類似性を示している。 コードとベンチマークは、https://anonymous.4open.science/r/RL-Transfer-between-env-4F47/で公開されている。

関連論文リスト

• EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation [54.5481724465918]
  EmbodiRSIは、リアルからシミュレート・トゥ・リアル・セッティングにおける反復的な政策改善のためのシステムである。 タスク固有のシミュレーションは、ターゲットのデプロイメントシナリオから構築され、低コストな環境として使用される。 400の適応的なシミュレートされた軌道と、サブタスクごとに10の現実世界の軌道しか持たないため、EmbodiRSIは83.1%のシーンバランスの自律的実世界の成功を達成している。
  論文  参考訳（メタデータ） (2026-09-30T03:54:53Z)
• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin [8.498460043101499]
  我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [22.077058792635313]
  被覆経路計画は、制限された地域の自由空間全体をカバーする経路を見つける問題である。 本稿では,この課題に対する連続空間強化学習の有効性について検討する。 提案手法は従来のRLに基づく手法と高度に専門化された手法の両方の性能を上回ることを示す。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Provable Sim-to-real Transfer in Continuous Domain with Partial Observations [39.18274543757048]
  シン・トゥ・リアル・トランスファー(英語版)は、シミュレーション環境でRLエージェントを訓練し、実世界で展開する。 実環境における最適政策と競合するシミュレートされた環境から、人気のある頑健な対人訓練アルゴリズムが、ポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-10-27T16:37:52Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。