論文の概要: Unveiling the Black Box: A Multi-Layer Framework for Explaining Reinforcement Learning-Based Cyber Agents

• arxiv url: http://arxiv.org/abs/2505.11708v1
• Date: Fri, 16 May 2025 21:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.795887
• Title: Unveiling the Black Box: A Multi-Layer Framework for Explaining Reinforcement Learning-Based Cyber Agents
• Title（参考訳）: Black Boxの公開 - 強化学習ベースのサイバーエージェントを説明するマルチレイヤフレームワーク
• Authors: Diksha Goel, Kristen Moore, Jeff Wang, Minjune Kim, Thanh Thi Nguyen,
• Abstract要約: RLをベースとした攻撃者に対する統一的多層説明可能性フレームワークを提案する。 MDPレベルでは、サイバー攻撃を部分的に観測可能なマルコフ決定プロセス(POMDP)としてモデル化する。 政策レベルでは、Q値の時間的進化を分析し、優先体験再生(PER)を用いて批判的な学習遷移を表面化する。
• 参考スコア（独自算出の注目度）: 4.239727656979701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) agents are increasingly used to simulate sophisticated cyberattacks, but their decision-making processes remain opaque, hindering trust, debugging, and defensive preparedness. In high-stakes cybersecurity contexts, explainability is essential for understanding how adversarial strategies are formed and evolve over time. In this paper, we propose a unified, multi-layer explainability framework for RL-based attacker agents that reveals both strategic (MDP-level) and tactical (policy-level) reasoning. At the MDP level, we model cyberattacks as a Partially Observable Markov Decision Processes (POMDPs) to expose exploration-exploitation dynamics and phase-aware behavioural shifts. At the policy level, we analyse the temporal evolution of Q-values and use Prioritised Experience Replay (PER) to surface critical learning transitions and evolving action preferences. Evaluated across CyberBattleSim environments of increasing complexity, our framework offers interpretable insights into agent behaviour at scale. Unlike previous explainable RL methods, which are often post-hoc, domain-specific, or limited in depth, our approach is both agent- and environment-agnostic, supporting use cases ranging from red-team simulation to RL policy debugging. By transforming black-box learning into actionable behavioural intelligence, our framework enables both defenders and developers to better anticipate, analyse, and respond to autonomous cyber threats.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)エージェントは、高度なサイバー攻撃をシミュレートするために使われることが多いが、彼らの意思決定プロセスは不透明であり、信頼、デバッグ、防御的準備を妨げている。 高度なサイバーセキュリティの文脈では、敵の戦略が時間とともにどのように形成され進化するかを理解するために説明責任が不可欠である。 本稿では,RLをベースとした攻撃エージェントに対して,戦略的(MDPレベル)と戦術的(政治レベル)の両方の推論を行う,統一的多層説明可能性フレームワークを提案する。 MDPレベルでは、サイバー攻撃を部分観測可能なマルコフ決定過程(POMDP)としてモデル化し、探索・探索のダイナミクスと位相認識の行動変化を明らかにする。 政策レベルでは、Q値の時間的進化を分析し、優先経験再生(PER)を用いて、重要な学習遷移と進化する行動選好を明らかにする。 複雑性が増大するCyberBattleSim環境を通じて評価され、我々のフレームワークは、大規模にエージェントの動作に関する解釈可能な洞察を提供する。 従来の説明可能なRLメソッドとは違い,提案手法はエージェントと環境に依存しないため,レッドチームシミュレーションからRLポリシデバッギングまで多岐にわたるユースケースをサポートする。 ブラックボックス学習を行動インテリジェンスに変換することによって、当社のフレームワークは、ディフェンダーとディベロッパの両方が、自律的なサイバー脅威を予測し、分析し、対応できるようにします。

関連論文リスト

• OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
  我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。 我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。 私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
  論文  参考訳（メタデータ） (2025-02-18T19:33:14Z)
• Hierarchical Multi-agent Reinforcement Learning for Cyber Network Defense [7.967738380932909]
  本稿では,サイバー防御タスクをネットワーク調査やホストリカバリといった特定のサブタスクに分解する階層的PPOアーキテクチャを提案する。 我々のアプローチは、ドメインの専門知識が強化されたPPOを使用して、各サブタスクのサブ政治を訓練することである。 これらのサブ政治は、複雑なネットワーク防御タスクを解決するためにそれらの選択を調整するマスターディフェンスポリシーによって活用される。
  論文  参考訳（メタデータ） (2024-10-22T18:35:05Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression [53.33734159983431]
  本稿では, ニューラルRLポリシをより解釈可能な形式に蒸留する新しい手法を提案する。 我々は、RLを用いて専門家のニューラルネットワークポリシーを訓練し、(i)GBM、(ii)EBM、(iii)シンボリックポリシーに蒸留する。
  論文  参考訳（メタデータ） (2024-03-21T11:54:45Z)
• Symbiotic Game and Foundation Models for Cyber Deception Operations in Strategic Cyber Warfare [16.378537388284027]
  私たちは現在、戦術の急速な進化、知性の非対称性の向上、ハッキングツールのアクセシビリティ向上など、前例のないサイバー戦争に直面しています。 本章は、サイバー詐欺戦術の分析、設計、実施におけるゲーム理論モデルと基礎モデル(FM)の重要な役割を強調することを目的とする。
  論文  参考訳（メタデータ） (2024-03-14T20:17:57Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• A Framework for Understanding and Visualizing Strategies of RL Agents [0.0]
  本稿では,時間論理式を用いてエージェント戦略を特徴付ける逐次決定タスクの理解可能なモデル学習フレームワークを提案する。 我々は,手工芸の専門家政策と訓練された強化学習エージェントの痕跡を用いて,StarCraft II (SC2) の戦闘シナリオに関する枠組みを評価した。
  論文  参考訳（メタデータ） (2022-08-17T21:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。