論文の概要: Adaptive Cyber-Defense for Evolving Attacker Capabilities using Reinforcement Learning and Behavior Trees
- arxiv url: http://arxiv.org/abs/2610.25420v1
- Date: Sun, 18 Oct 2026 17:22:51 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:29:11.273273
- Title: Adaptive Cyber-Defense for Evolving Attacker Capabilities using Reinforcement Learning and Behavior Trees
- Title(参考訳): 強化学習と行動木を用いた攻撃者の能力向上のための適応型サイバーディフェンス
- Abstract要約: 本稿では,CAGE Challenge Scenario 2(CC2)で学んだディフェンダーポリシーを,新たな攻撃行動に代表される新たな攻撃能力を備えた拡張ネットワークシナリオに適用する問題について検討する。
我々は,行動木(ARLBT)を用いた対向RL(ARL)を開発し,進行型報酬関数とRBT実行条件攻撃ポリシーを定義する。
本稿では,元のCC2報酬関数を用いたARLと比較してARLBTが攻撃者の成功率を向上させることを示し,RTT実行の条件付けポリシーがサンプル効率を向上させることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Autonomous cyber-defense agents trained using reinforcement learning (RL) are increasingly adopted for defending enterprise computer networks. However, existing approaches may become brittle as attacker capabilities evolve and enable new attack strategies. In this work, we study the problem of adapting defender policies learned in CAGE Challenge Scenario 2 (CC2), a benchmark enterprise network defense scenario, to an extended network scenario with new attacker capabilities represented by new attacker actions. Effective attack strategies that leverage new actions are initially unknown, and therefore attacker policies must be learned before defender adaptation can occur. To address this challenge, we develop adversarial RL (ARL) with behavior trees (ARLBT), which uses reward behavior trees (RBTs) to define progression-based reward functions and condition attacker policies on RBT execution. The proposed RBT incorporates the new attacker actions into structured attack strategies while leveraging parallel execution to generate rewards across multiple network nodes simultaneously. We evaluate ARLBT for learning attacker policies against two baseline defender policies across network scenarios with different sets of new attacker actions and compare against multiple attacker baselines. The results demonstrate that ARLBT improves attacker success compared to ARL using the original CC2 reward function and that conditioning policies on RBT execution can improve sample efficiency. We further show that defender policies can be adapted against the learned attackers, improving robustness to attacks that leverage new attacker actions.
- Abstract(参考訳): 強化学習(RL)を用いて訓練された自律サイバー防御エージェントは、企業コンピュータネットワークを守るためにますます採用されている。
しかし、攻撃能力の進化と新たな攻撃戦略の実現により、既存のアプローチは脆弱になる可能性がある。
本研究では,CAGE Challenge Scenario 2(CC2)で学んだディフェンダーポリシーを,新たな攻撃行動に代表される新たな攻撃能力を備えた拡張ネットワークシナリオに適用する問題について検討する。
新しいアクションを利用する効果的な攻撃戦略は、当初不明であるため、ディフェンダー適応が起こる前に攻撃ポリシーを学習する必要がある。
この課題に対処するために,報酬行動木(RBT)を用いた行動木(ARLBT)を用いた対向RL(ARL)を開発し,RBT実行における報酬関数と条件攻撃ポリシーを定義する。
提案したRTTは、並列実行を活用して、複数のネットワークノードにまたがる報酬を同時に生成しながら、新たな攻撃行動を構造化攻撃戦略に組み込む。
我々は,新たな攻撃行動のセットの異なるネットワークシナリオにおける2つのベースラインディフェンダーポリシーに対して,攻撃者ポリシーを学習するためのARLBTを評価し,複数の攻撃者ベースラインと比較した。
その結果、ARLBTは元のCC2報酬関数を用いたARLと比較して攻撃者の成功を向上し、RTT実行の条件付けポリシーはサンプル効率を向上することを示した。
さらに、学習した攻撃者に対してディフェンダーポリシーを適用できることを示し、新たな攻撃行動を活用する攻撃に対する堅牢性を向上させる。
関連論文リスト
- Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO [2.714570887733442]
Adv GRPOは、密集したマルチチャネル報酬を使用してアタッカーとディフェンダーを最適化するコトレーニングフレームワークである。
提案手法は,高能率かつ移動可能な攻撃を発生させることができ,また,協調訓練されたディフェンダーが安全ベンチマークのベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2026-06-08T16:21:36Z) - Game-Theoretic Modeling of Stealthy Intrusion Defense against MDP-Based Attackers [1.230067722774416]
我々は、攻撃グラフ上の攻撃者とディフェンダーとの間の戦略的相互作用として、高度な永続的脅威をモデル化する。
攻撃者の位置と進行に関する限られた情報により、ディフェンダーは侵入検知センサーを配置することでランダムな間隔で行動する。
我々は、対応する最適化問題を解くことによって最適な防御戦略を導出する。
論文 参考訳(メタデータ) (2026-03-10T12:35:57Z) - Active Attacks: Red-teaming LLMs via Adaptive Environments [71.55110023234376]
大規模言語モデル(LLM)に対する多様な攻撃プロンプトを生成するという課題に対処する。
我々は、犠牲者が進化するにつれて攻撃に適応する新しいRLベースのレッドチームアルゴリズムであるtextitActive Attacksを導入する。
論文 参考訳(メタデータ) (2025-09-26T06:27:00Z) - Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。
このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。
我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
論文 参考訳(メタデータ) (2025-06-09T06:35:12Z) - ARBoids: Adaptive Residual Reinforcement Learning With Boids Model for Cooperative Multi-USV Target Defense [0.918715978278858]
本稿では,適応型強化学習フレームワークであるABBoidsを紹介する。
深層強化学習と、生物学的にインスパイアされた力に基づくBoidsモデルを統合する。
提案手法は高忠実度ガゼボシミュレーション環境で検証される。
論文 参考訳(メタデータ) (2025-02-25T16:05:33Z) - Attacking and Defending Deep Reinforcement Learning Policies [3.6985039575807246]
本研究では, DRL ポリシーのロバストな最適化の観点から, 敵攻撃に対するロバスト性について検討する。
本稿では,環境との相互作用を伴わずにポリシーの戻りを最小化しようとする欲求攻撃アルゴリズムと,最大限の形式で敵の訓練を行う防衛アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-16T12:47:54Z) - LAS-AT: Adversarial Training with Learnable Attack Strategy [82.88724890186094]
LAS-ATと呼ばれる「学習可能な攻撃戦略」は、モデル堅牢性を改善するための攻撃戦略を自動生成することを学ぶ。
当社のフレームワークは,強靭性向上のためのトレーニングにAEを使用するターゲットネットワークと,AE生成を制御するための攻撃戦略を生成する戦略ネットワークで構成されている。
論文 参考訳(メタデータ) (2022-03-13T10:21:26Z) - Projective Ranking-based GNN Evasion Attacks [52.85890533994233]
グラフニューラルネットワーク(GNN)は、グラフ関連のタスクに対して、有望な学習方法を提供する。
GNNは敵の攻撃の危険にさらされている。
論文 参考訳(メタデータ) (2022-02-25T21:52:09Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳(メタデータ) (2021-11-23T23:42:16Z) - Adversarial jamming attacks and defense strategies via adaptive deep
reinforcement learning [12.11027948206573]
本稿では、DRLベースの動的チャネルアクセスを行う被害者ユーザと、DRLベースの妨害攻撃を実行して被害者を妨害する攻撃者について考察する。
被害者も攻撃者もDRLエージェントであり、互いに相互作用し、モデルを再訓練し、相手の方針に適応することができる。
攻撃された被害者の精度を最大化し,その性能を評価するための3つの防衛戦略を提案する。
論文 参考訳(メタデータ) (2020-07-12T18:16:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。