論文の概要: Distilling Knowledge from Large Language Models into Lightweight Reinforcement Learning Agents for Autonomous Cyber Operations
- arxiv url: http://arxiv.org/abs/2607.28826v1
- Date: Thu, 30 Jul 2026 20:28:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.479011
- Title: Distilling Knowledge from Large Language Models into Lightweight Reinforcement Learning Agents for Autonomous Cyber Operations
- Title（参考訳）: 大規模言語モデルからの知識の希薄化 : 自律型サイバー操作のための軽量強化学習エージェント
- Abstract要約: 大規模言語モデルは、ACO環境における自律的な防御的意思決定を改善する。
オンライン政策蒸留フレームワークは、モデルのサイズを桁違いに削減する。
報酬駆動型RL最適化と教師誘導型防衛戦略の間の政策調整制限の提言。
- 参考スコア（独自算出の注目度）: 0.7090965808928492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous Cyber Operations (ACO) are increasingly important for defending enterprise networks as cyber threats continue to evolve in sophistication. ACO applications commonly employ Reinforcement Learning (RL) agents to learn defensive behaviors through interaction with environments. However, RL agents typically require extensive exploration during training, often resulting in unstable behavior and poor initial decision-making before converging toward effective defense strategies. In this work, we investigate the use of a Large Language Model (LLM) to improve autonomous defensive decision-making within an ACO environment. Through prompt engineering rather than fine-tuning, we demonstrate that an 8-billion parameter LLM pretrained on cybersecurity data can outperform a baseline RL agent in a modified CybORG CAGE Challenge 2 environment. We then propose an online policy distillation framework that transfers the LLM's defensive policy into a lightweight RL agent containing only 64,910 parameters, reducing model size by several orders of magnitude while maintaining effective defensive capabilities. This provides a pathway toward operationalizing frontier cybersecurity models within lightweight, deployable agents. To evaluate transferability, we construct CybORG scenarios ranging from 4 to 12 hosts and assess the approach across varying network configurations. We also evaluate teacher-guided RL stabilization strategies and observe that none consistently surpass the optimized teacher policy, suggesting policy-alignment limitations between reward-driven RL optimization and teacher-guided defense strategies. Our results demonstrate the potential of cybersecurity-focused LLMs as sources of expertise for autonomous cyber defense, while policy distillation provides a practical path toward operationalizing frontier cybersecurity models within efficient, scalable agents.
- Abstract（参考訳）: ACO(Autonomous Cyber Operations)は、企業のネットワークを守るためにますます重要になっている。
ACOアプリケーションは通常、環境との相互作用を通じて防御行動を学ぶために強化学習(Reinforcement Learning, RL)エージェントを使用する。
しかし、RLエージェントは通常、訓練中に広範囲にわたる探索を必要とし、しばしば不安定な振る舞いと、効果的な防衛戦略に収束する前に初期決定が不十分になる。
本研究では,大規模言語モデル(LLM)を用いて,ACO環境における自律的な防御的意思決定を改善する。
本研究では,サイバーセキュリティデータに事前訓練された8ビリオンパラメータLLMが,修正したCybORG CAGE Challenge 2環境におけるベースラインRLエージェントよりも優れていることを示す。
次に, LLMの防御方針を64,910パラメータのみを含む軽量なRLエージェントに変換し, 有効防御能力を保ちながら, モデルサイズを数桁削減するオンライン政策蒸留フレームワークを提案する。
これにより、軽量でデプロイ可能なエージェント内で、フロンティアのサイバーセキュリティモデルを運用するための経路を提供する。
転送可能性を評価するために,4から12ホストのCybORGシナリオを構築し,ネットワーク構成の異なるアプローチを評価する。
また,教師指導型RL安定化戦略の評価を行い,教師指導型RL最適化と教師指導型防衛戦略との間の政策調整の限界を示唆し,教師指導型RL安定化戦略を常に上回るものではないことを考察した。
以上の結果から,自律型サイバー防衛の専門知識の源泉としてのサイバーセキュリティに焦点を当てたLCMの可能性を示すとともに,政策蒸留は,効率的でスケーラブルなエージェント内でフロンティアサイバーセキュリティモデルを運用するための実践的な道筋を提供する。
関連論文リスト
- Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework [9.460661802313835]
CyberOps-Botsは、Large Language Models (LLM)によって強化された階層型マルチエージェント強化学習フレームワークである。
実際のクラウドデータセットの実験では、最先端のアルゴリズムと比較して、CyberOps-Botsはネットワーク可用性を68.5%高く維持している。
当社のフレームワークをコミュニティにリリースし、クラウドネットワークにおける堅牢で自律的な防衛の進展を促進します。
論文 参考訳（メタデータ） (2026-01-12T01:25:41Z) - Adversarial Attack-Defense Co-Evolution for LLM Safety Alignment via Tree-Group Dual-Aware Search and Optimization [51.12422886183246]
大規模言語モデル(LLM)は、Webサービスにおいて急速に発展し、社会的リスクを増幅しつつ、前例のない能力を提供してきた。
既存の作業は、分離されたジェイルブレイク攻撃または静的防御に重点を置いており、現実世界のWebコンテキストにおける進化する脅威とセーフガードの間の動的な相互作用を無視している。
ACE-Safetyは、2つの重要な革新的手順をシームレスに統合することにより、攻撃と防御モデルを協調的に最適化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-11-24T15:23:41Z) - Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber Defense [3.2661946789427314]
本稿では,大規模言語モデル(LLM)に基づく報酬設計手法を提案する。
以上の結果から, LLM誘導型報酬設計は, 多様な敵行動に対する効果的な防衛戦略につながる可能性が示唆された。
論文 参考訳（メタデータ） (2025-11-20T15:54:08Z) - Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations [0.6591422574318154]
強化学習(Reinforcement Learning, RL)は、サイバーセキュリティ分野における自律的な意思決定に大きな可能性を示している。
本研究では,サイバーセキュリティデータに基づいて事前訓練したLarge Language Model(LLM)の形で外部知識を統合する。
指導エージェントは早期訓練中に2倍以上の報奨を達成し,ベースラインよりも約4,500エピソードの速さで好意的な方針に収束することを示した。
論文 参考訳（メタデータ） (2025-08-28T23:52:03Z) - Reinforcement Learning for Decision-Level Interception Prioritization in Drone Swarm Defense [51.736723807086385]
本稿では,この課題に対処する上で,強化学習の実践的メリットを示すケーススタディを提案する。
本研究では,現実的な運用制約を捉えた高忠実度シミュレーション環境を提案する。
エージェントは最適なインターセプション優先順位付けのために複数のエフェクターを調整することを学ぶ。
我々は、何百ものシミュレートされた攻撃シナリオにおいて、手作りルールベースのベースラインに対する学習ポリシーを評価する。
論文 参考訳（メタデータ） (2025-08-01T13:55:39Z) - Unveiling the Black Box: A Multi-Layer Framework for Explaining Reinforcement Learning-Based Cyber Agents [4.239727656979701]
RLをベースとした攻撃者に対する統一的多層説明可能性フレームワークを提案する。
MDPレベルでは、サイバー攻撃を部分的に観測可能なマルコフ決定プロセス(POMDP)としてモデル化する。
政策レベルでは、Q値の時間的進化を分析し、優先体験再生(PER)を用いて批判的な学習遷移を表面化する。
論文 参考訳（メタデータ） (2025-05-16T21:29:55Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳（メタデータ） (2025-04-24T17:57:08Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Security of Deep Reinforcement Learning for Autonomous Driving: A Survey [20.703911484411737]
強化学習(RL)は、エージェントが環境との相互作用を通じて最適な行動を学ぶことを可能にする。
その約束にもかかわらず、RLは、政策学習を妥協したり、訓練されたエージェントによる誤った判断を誘発するために設計された攻撃に影響を受けやすい。
論文 参考訳（メタデータ） (2022-12-12T18:50:49Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Improving Robustness of Reinforcement Learning for Power System Control
with Adversarial Training [71.7750435554693]
電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。
具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。
本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
論文 参考訳（メタデータ） (2021-10-18T00:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。