論文の概要: FOE-Dreamer: Deployment-Efficient Learning of Cyber Defense Policies in Operational Networks
- arxiv url: http://arxiv.org/abs/2611.14880v1
- Date: Wed, 11 Nov 2026 01:11:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.972823
- Title: FOE-Dreamer: Deployment-Efficient Learning of Cyber Defense Policies in Operational Networks
- Title(参考訳): FOE-Dreamer:運用ネットワークにおけるサイバー防衛政策の展開効率向上学習
- Abstract要約: FOE-Dreamerは,クラウドインフラストラクチャ上のネットワーク上で,ディフェンダーを直接オンライントレーニングするモデルベースの強化学習フレームワークである。
一致した計算条件下ではRainbowやIQNのベースラインよりも約2$times$のエピソードロスを実現している。
- 参考スコア(独自算出の注目度): 0.7260159619345342
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous cyber defense is widely studied with deep reinforcement learning, but most work trains policies inside simulators because learning requires many trial-and-error interactions. Simulator-based training carries a fidelity gap: trained policies face authentication delays, partial action failures, service dependencies, and user traffic patterns that the simulator did not represent, and degrade on transfer. Training directly in the network being defended removes the gap but makes every interaction slow and costly, so sample efficiency becomes the binding constraint. Model-based reinforcement learning has reduced sample requirements on games and physical robots by orders of magnitude by planning inside a learned world model, but it has not been applied to defenders trained in operational networks. We present FOE-Dreamer (Factored Opponent-Enhanced Dreamer), a model-based reinforcement learning framework that trains a defender online and directly in a network on cloud infrastructure, without a simulator stage. FOE-Dreamer separates three sources of variation in the latent state: a controllable component driven by defender actions, an exogenous component driven by benign user activity, and an opponent embedding inferred from defender-observable signals alone. Separating the components reduces the variance in policy gradients during planning in imagination. Against two scripted attacker profiles with user activity emulated by the GHOSTS framework on an 8-host OpenStack testbed, FOE-Dreamer trains within a 3-day budget on a single GPU and achieves about 2$\times$ better episode loss than Rainbow and IQN baselines under matched compute. Both the factoring and the opponent model contribute to the gain, and the learned latents are consistent with the intended separation.
- Abstract(参考訳): 自律的なサイバー防衛は、深い強化学習によって広く研究されているが、ほとんどの作業はシミュレータ内のポリシーを訓練する。
トレーニングされたポリシーは、認証の遅延、部分的な動作障害、サービス依存性、シミュレータが表現していないユーザトラフィックパターンに直面し、転送時に劣化する。
ネットワークで防御されているトレーニングはギャップを取り除くが、すべてのインタラクションが遅くてコストがかかるため、サンプル効率がバインディング制約となる。
モデルに基づく強化学習は、学習世界モデル内での計画により、ゲームや物理ロボットのサンプル要求を桁違いに削減したが、運用ネットワークで訓練されたディフェンダーには適用されなかった。
本稿では,モデルに基づく強化学習フレームワークであるFOE-Dreamer(Factored Opponent-Enhanced Dreamer)について紹介する。
FOE-Dreamerは、ディフェンダーアクションによって駆動される制御可能なコンポーネント、良質なユーザアクティビティによって駆動される外因性コンポーネント、ディフェンダー可観測信号のみから推論される相手埋め込みの3つのバリエーション源を分離する。
コンポーネントを分離することで、イマジネーションの計画中のポリシー勾配のばらつきが軽減される。
GHOSTSフレームワークが8ホストのOpenStackテストベッドでエミュレートした2つのスクリプトされたアタッカープロファイルに対して、FOE-Dreamerは1つのGPUで3日間の予算内でトレーニングし、マッチした計算下でのRainbowとIQNベースラインよりも約2$\times$のエピソード損失を達成している。
ファクタリングと対戦モデルの両方がゲインに寄与し、学習されたラテントは意図した分離と一致します。
関連論文リスト
- RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts [98.41251854883184]
強化学習(RL)ポストトレーニングは、現在のアプローチに代わる有望な代替手段を提供する。
ビデオワールドモデルは、現実的な多段階の将来のロールアウトを生成する能力を示したが、アクション条件を忠実に反映しないかもしれない。
本稿では,信頼性の高いポリシ最適化を実現するプラグイン・アンド・プレイクローズドループRLフレームワークであるRoXDriveを紹介する。
論文 参考訳(メタデータ) (2026-09-29T06:59:50Z) - The MAL Simulator: Cyber Operations Simulation based on Attack & Defense Graphs [0.0]
MAL Simulatorは、メタアタック言語(MAL)に基づくサイバー操作シミュレータである。
攻撃モデリング言語を中心にシミュレータを構築することで、ソースコードを変更することなく、異なるターゲットドメインに適応することができる。
このシミュレータを2種類のケーススタディに使用し、自動サイバー操作のための2種類のエージェントを訓練した。
論文 参考訳(メタデータ) (2026-09-15T02:59:01Z) - A Cyber Range Evaluation of Autonomous Network Incident Response Agents [0.0]
我々は,人的操作者訓練を目的としたサイバー範囲におけるネットワーク侵入応答の自動化のためのエージェントの性能を検証した。
防御エージェントの目標は、ネットワーク内のホストがレッドチームエージェントによってアクセスされることを防止し、防御対策から生じる可用性コストを最小限に抑えることである。
論文 参考訳(メタデータ) (2026-09-15T02:36:15Z) - Adversarial Reinforcement Learning for Offensive and Defensive Agents in a Simulated Zero-Sum Network Environment [3.572219661521267]
本稿では,カスタムOpenAI Gym環境によるネットワークセキュリティにおける敵強化学習の制御に関する研究について述べる。
環境は、バックグラウンドトラフィックノイズ、プログレッシブ・エクスプロイト・メカニクス、IPベースの回避戦術、ハニーポットトラップ、レート制限防衛など、現実的なセキュリティトレードオフを捉えている。
論文 参考訳(メタデータ) (2025-10-03T05:53:51Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳(メタデータ) (2023-08-02T05:54:01Z) - Sim-Anchored Learning for On-the-Fly Adaptation [45.123633153460034]
実世界のデータを持つ微調整シミュレーション訓練されたRLエージェントは、制限されたデータ分布や歪んだデータ分布のために重要な振る舞いを劣化させることが多い。
シミュレーションと現実の両方において政策目標を満たさなければならない多目的最適化問題として、フレーミングライブ適応を提案する。
論文 参考訳(メタデータ) (2023-01-17T16:16:53Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳(メタデータ) (2021-11-23T23:42:16Z) - Autonomous Attack Mitigation for Industrial Control Systems [25.894883701063055]
サイバー攻撃からコンピュータネットワークを守るには、警告や脅威情報に対するタイムリーな対応が必要である。
本稿では,大規模産業制御ネットワークにおける自律応答と回復に対する深層強化学習手法を提案する。
論文 参考訳(メタデータ) (2021-11-03T18:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。