論文の概要: SubstratumGraphEnv: Reinforcement Learning Environment (RLE) for Modeling System Attack Paths
- arxiv url: http://arxiv.org/abs/2603.01340v1
- Date: Mon, 02 Mar 2026 00:48:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.635428
- Title: SubstratumGraphEnv: Reinforcement Learning Environment (RLE) for Modeling System Attack Paths
- Title（参考訳）: SubstratumGraphEnv: システム攻撃経路モデリングのための強化学習環境(RLE)
- Authors: Bahirah Adewunmi, Edward Raff, Sanjay Purushotham,
- Abstract要約: 本稿では,Windowsオペレーティングシステム上で実行されるプロセスのシーケンスをシミュレートする強化学習環境生成フレームワークを提案する。
Sysmonログから親子プロセスをキャプチャしてモデル化するためのメカニズムが開発された。
この研究の中心的な貢献は、シーケンシャルなユーザイベントとシステムイベントの翻訳を自動化する新しいグラフィカルなRL環境の設計である。
- 参考スコア（独自算出の注目度）: 39.781061867244226
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automating network security analysis, particularly the identification of potential attack paths, presents significant challenges. Due in part to the sequential, interconnected, and evolutionary nature of system events which most artificial intelligence (AI) techniques struggle to model effectively. This paper proposes a Reinforcement Learning (RL) environment generation framework that simulates the sequence of processes executed on a Windows operating system, enabling dynamic modeling of malicious processes on a system. This methodology models operating system state and transitions using a graph representation. This graph is derived from open-source System Monitor (Sysmon) logs. To address the variety in system event types, fields, and log formats, a mechanism was developed to capture and model parent-child processes from Sysmon logs. A Gymnasium environment (SubstratumGraphEnv) was constructed to establish the perceptible basis for an RL environment, and a customized PyTorch interface was also built (SubstratumBridge) to translate Gymnasium graphs into Deep Reinforcement Learning (DRL) observations and discrete actions. Graph Convolutional Networks (GCNs) concretize the graph's local and global state, which feed the distinct policy and critic heads of an Advantage Actor-Critic (A2C) model. This work's central contribution lies in the design of a novel deep graphical RL environment that automates translation of sequential user and system events, furnishing crucial context for cybersecurity analysis. This work provides a foundation for future research into shaping training parameters and advanced reward shaping, while also offering insight into which system events attributes are critical to training autonomous RL agents.
- Abstract（参考訳）: ネットワークセキュリティ分析、特に潜在的な攻撃経路の識別を自動化することは、重大な課題である。
ほとんどの人工知能(AI)技術が効果的にモデル化するのに苦労している、システムイベントのシーケンシャル、相互接続、進化的な性質の一部のためである。
本稿では、Windowsオペレーティングシステム上で実行されるプロセスのシーケンスをシミュレートし、システム上で悪意あるプロセスの動的モデリングを可能にする強化学習(RL)環境生成フレームワークを提案する。
この方法論は、グラフ表現を用いてオペレーティングシステムの状態と遷移をモデル化する。
このグラフはオープンソースのSystem Monitor(Sysmon)ログに由来する。
システムイベントタイプ、フィールド、ログフォーマットの多様性に対処するため、Sysmonログから親子プロセスをキャプチャしてモデル化するメカニズムが開発された。
Gymnasium環境(SubstratumGraphEnv)は、RL環境の認知基盤を確立するために構築され、GymnasiumグラフをDRL(Deep Reinforcement Learning)の観察と離散動作に変換するために、カスタマイズされたPyTorchインターフェース(SubstratumBridge)も構築された。
グラフ畳み込みネットワーク(GCN)は、アドバンテージ・アクター・クリティカル(Advantage Actor-Critic、A2C)モデルの異なるポリシーと批判的リーダーを養うグラフの局所的およびグローバルな状態を強化する。
この研究の中心的な貢献は、シーケンシャルなユーザイベントとシステムイベントの翻訳を自動化する、新しいグラフィカルなRL環境の設計であり、サイバーセキュリティ分析にとって重要なコンテキストを提供することである。
この研究は、トレーニングパラメータの形成と高度な報酬形成に関する将来の研究の基盤を提供すると同時に、自律的なRLエージェントのトレーニングにどのシステムイベント属性が重要なのかについての洞察を提供する。
関連論文リスト
- On Swarm Leader Identification using Probing Policies [2.707154152696381]
この研究は、対話型Swarm Leader Identification問題を導入している。
相手探索エージェントは、メンバーと物理的に相互作用することで、Swarmのリーダーを特定する。
我々は、犯人の政策を訓練するためにDeep Reinforcement Learningを採用している。
論文 参考訳（メタデータ） (2025-12-20T00:02:58Z) - Power Grid Control with Graph-Based Distributed Reinforcement Learning [60.49805771047161]
この作業は、リアルタイムでスケーラブルなグリッド管理のためのグラフベースの分散強化学習フレームワークを前進させる。
グラフニューラルネットワーク(GNN)を使用して、ネットワークのトポロジ情報を単一の低レベルエージェントの観測内にエンコードする。
Grid2Opシミュレーション環境での実験は、このアプローチの有効性を示している。
論文 参考訳（メタデータ） (2025-09-02T22:17:25Z) - Foundations and Models in Modern Computer Vision: Key Building Blocks in Landmark Architectures [34.542592986038265]
本報告では,コンピュータビジョンにおけるキーデザインパターンの進化を,影響力のある6つの論文から分析する。
本稿では,残差接続を導入したResNetについて概説する。
画像パッチのシーケンスにトランスフォーマーアーキテクチャを適用し,新たなパラダイムを確立したビジョントランスフォーマー(ViT)について検討する。
論文 参考訳（メタデータ） (2025-07-31T09:08:11Z) - Leveraging Large Language Model for Intelligent Log Processing and Autonomous Debugging in Cloud AI Platforms [1.819979627431298]
本稿では,Large Language Model (LLM) に基づくインテリジェントログ処理と自動デバッグフレームワークである Intelligent Debugger (LLM-ID) を提案する。
クラウドプラットフォームログデータセットの実験では、LLM-IDは障害位置の精度を16.2%向上させており、これは現在の主流メソッドよりも大幅に向上している。
論文 参考訳（メタデータ） (2025-06-22T04:58:37Z) - Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
次世代予測は大規模言語モデル(LLM)の訓練の基本原理である
本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。
私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
論文 参考訳（メタデータ） (2025-04-18T10:46:22Z) - LLM-Based Multi-Agent Systems are Scalable Graph Generative Models [73.28294528654885]
GraphAgent-Generator (GAG) は動的でテキスト対応のソーシャルグラフ生成のための新しいシミュレーションベースのフレームワークである。
GAGは、ゼロショットソーシャルグラフ生成のための時間ノードとエッジ生成プロセスをシミュレートする。
得られたグラフは7つの主要なマクロ的ネットワーク特性に付着し、微視的グラフ構造測定において11%の改善が達成される。
論文 参考訳（メタデータ） (2024-10-13T12:57:08Z) - Graph Decision Transformer [83.76329715043205]
グラフ決定変換器(GDT)は、新しいオフライン強化学習手法である。
GDTは入力シーケンスを因果グラフにモデル化し、基本的な異なる概念間の潜在的な依存関係をキャプチャする。
実験の結果,GDT は画像ベース Atari と OpenAI の Gym 上で,最先端のオフライン RL 手法の性能と一致しているか,上回っていることがわかった。
論文 参考訳（メタデータ） (2023-03-07T09:10:34Z) - RLFlow: Optimising Neural Network Subgraph Transformation with World
Models [0.0]
本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。
提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-03T11:52:54Z) - Flurry: a Fast Framework for Reproducible Multi-layered Provenance Graph
Representation Learning [0.44040106718326594]
Flurryは、サイバー攻撃をシミュレートするエンドツーエンドのデータパイプラインである。
複数のシステムとアプリケーション層におけるこれらの攻撃からのデータをキャプチャし、これらの攻撃からの監査ログをデータプロファイランスグラフに変換し、このデータをディープニューラルネットワークのトレーニングフレームワークに組み込む。
複数のシステム攻撃からのデータを処理し,グラフ分類による異常検出を行うことで,このパイプラインを実証する。
論文 参考訳（メタデータ） (2022-03-05T13:52:11Z) - Dynamically Grown Generative Adversarial Networks [111.43128389995341]
本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。
本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
論文 参考訳（メタデータ） (2021-06-16T01:25:51Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。