論文の概要: An Empirical Game-Theoretic Analysis of Autonomous Cyber-Defence Agents

• arxiv url: http://arxiv.org/abs/2501.19206v1
• Date: Fri, 31 Jan 2025 15:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:23.736413
• Title: An Empirical Game-Theoretic Analysis of Autonomous Cyber-Defence Agents
• Title（参考訳）: 自律型サイバーディフェンスエージェントの実証ゲーム理論解析
• Authors: Gregory Palmer, Luke Swaby, Daniel J. B. Harrold, Matthew Stewart, Alex Hiles, Chris Willis, Ian Miles, Sara Farmer,
• Abstract要約: 我々は、このプロセスの迅速化のために理論的に正しいポテンシャルに基づく報酬形成手法を導入し、評価する。 さらに,オープンソース ACD-DRL のアプローチが増加していることを踏まえ,複数の応答オラクルを扱えるように DO の定式化を拡張した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The recent rise in increasingly sophisticated cyber-attacks raises the need for robust and resilient autonomous cyber-defence (ACD) agents. Given the variety of cyber-attack tactics, techniques and procedures (TTPs) employed, learning approaches that can return generalisable policies are desirable. Meanwhile, the assurance of ACD agents remains an open challenge. We address both challenges via an empirical game-theoretic analysis of deep reinforcement learning (DRL) approaches for ACD using the principled double oracle (DO) algorithm. This algorithm relies on adversaries iteratively learning (approximate) best responses against each others' policies; a computationally expensive endeavour for autonomous cyber operations agents. In this work we introduce and evaluate a theoretically-sound, potential-based reward shaping approach to expedite this process. In addition, given the increasing number of open-source ACD-DRL approaches, we extend the DO formulation to allow for multiple response oracles (MRO), providing a framework for a holistic evaluation of ACD approaches.
• Abstract（参考訳）: 近年の高度なサイバー攻撃の増加により、堅牢でレジリエントな自律サイバー防御(ACD)エージェントの必要性が高まっている。 サイバー攻撃戦術、テクニック、手順(TTP)の多様さを考えると、一般的なポリシーを返すことができる学習アプローチが望ましい。 一方、ACDエージェントの保証は依然としてオープンな課題である。 本稿では,Double Oracle(DO)アルゴリズムを用いて,ACDに対する深部強化学習(DRL)アプローチのゲーム理論による実証的な解析により,両課題に対処する。 このアルゴリズムは、相互の方針に対して反復的に(近似的に)最良の反応を学習することに依存しており、自律的なサイバー操作エージェントに対する計算的に高価な取り組みである。 本研究は, このプロセスの迅速化を目的として, 理論的に健全な潜在的報酬形成手法を導入し, 評価する。 さらに,オープンソース ACD-DRL アプローチの増加を踏まえ,複数の応答オラクル (MRO) を実現するために DO の定式化を拡張し,ACD アプローチの全体的評価のためのフレームワークを提供する。

関連論文リスト

• A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges [2.2448567386846916]
  強化学習(RL)は人工知能(AI)の強力なパラダイムとして登場した。 本稿では,多種多様なアルゴリズムを巧みに分析するRLの包括的調査を行う。 我々は、RLアルゴリズムの選択と実装に関する実践的な洞察を提供し、収束、安定性、探索-探索ジレンマといった共通の課題に対処する。
  論文  参考訳（メタデータ） (2024-11-28T03:53:14Z)
• Multi-Objective Reinforcement Learning for Automated Resilient Cyber Defence [0.0]
  サイバー攻撃は、軍事指揮統制ネットワーク、情報、監視、偵察(ISR)システム、民間の臨界国家インフラにセキュリティ上の脅威をもたらす。 これらの攻撃における人工知能と自律エージェントの使用は、この脅威の規模、範囲、複雑さを増大させ、それらが引き起こす破壊を後押しする。 自律サイバー防衛(ACD)エージェントは、マシンスピードとこの問題に対処するために必要なスケールで応答することで、この脅威を軽減することを目指している。
  論文  参考訳（メタデータ） (2024-11-26T16:51:52Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Robustifying a Policy in Multi-Agent RL with Diverse Cooperative Behaviors and Adversarial Style Sampling for Assistive Tasks [51.00472376469131]
  多様な介護者対応を訓練することで、ロバストな介護者の方針を学習する枠組みを提案する。 一般的な深層RL法で訓練されたポリシーは、他のエージェントのポリシーの変更に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2024-03-01T08:15:18Z)
• On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics [0.7655800373514546]
  リスク対応強化学習アルゴリズムは、さまざまな継続的なタスクにおいて、リスクニュートラルなアルゴリズムよりも優れていた。 これらのアルゴリズムが採用する悲観的目的の理論的基礎は、まだ確立されていない。 本稿では,2つのアクターネットワークを特徴とするリスク認識型モデルフリーアルゴリズムとして,Dual Actor-Critic (DAC)を提案する。
  論文  参考訳（メタデータ） (2023-10-30T13:28:06Z)
• Deep Reinforcement Learning for Autonomous Cyber Defence: A Survey [0.0]
  近年のサイバー攻撃の急増により、ネットワークを悪意ある行為者から守るための原則的な方法の必要性が高まっている。 深層強化学習は、これらの攻撃を緩和するための有望なアプローチとして現れている。 DRLはサイバー防衛に大きな可能性を示しているが、DRLが大規模に自律的なサイバー防衛問題に適用される前には、多くの課題が克服されなければならない。
  論文  参考訳（メタデータ） (2023-10-11T16:24:14Z)
• On Autonomous Agents in a Cyber Defence Environment [0.0]
  我々は,Cyber Autonomy Gym for Experimentationの一部として提示された自律型サイバー運用環境の有用性について検討する。 CAGE Challenge 2は攻撃するレッドエージェントからネットワークを守るためにブルーエージェントを必要とした。 我々は,一元的深層強化学習(DRL),階層型DRL,アンサンブル,非DRLの4種類のアルゴリズムを同定する。
  論文  参考訳（メタデータ） (2023-09-14T02:09:36Z)
• Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach [56.84948632954274]
  本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。 本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。 提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
  論文  参考訳（メタデータ） (2021-12-20T15:45:28Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。