論文の概要: Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations

• arxiv url: http://arxiv.org/abs/2509.05311v1
• Date: Thu, 28 Aug 2025 23:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.913456
• Title: Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations
• Title（参考訳）: 自律型サイバー操作における大規模言語モデル統合と強化学習
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、サイバーセキュリティ分野における自律的な意思決定に大きな可能性を示している。 本研究では,サイバーセキュリティデータに基づいて事前訓練したLarge Language Model(LLM)の形で外部知識を統合する。 指導エージェントは早期訓練中に2倍以上の報奨を達成し,ベースラインよりも約4,500エピソードの速さで好意的な方針に収束することを示した。
• 参考スコア（独自算出の注目度）: 0.6591422574318154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has shown great potential for autonomous decision-making in the cybersecurity domain, enabling agents to learn through direct environment interaction. However, RL agents in Autonomous Cyber Operations (ACO) typically learn from scratch, requiring them to execute undesirable actions to learn their consequences. In this study, we integrate external knowledge in the form of a Large Language Model (LLM) pretrained on cybersecurity data that our RL agent can directly leverage to make informed decisions. By guiding initial training with an LLM, we improve baseline performance and reduce the need for exploratory actions with obviously negative outcomes. We evaluate our LLM-integrated approach in a simulated cybersecurity environment, and demonstrate that our guided agent achieves over 2x higher rewards during early training and converges to a favorable policy approximately 4,500 episodes faster than the baseline.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、サイバーセキュリティ領域における自律的な意思決定に大きな可能性を示しており、エージェントは直接の環境相互作用を通じて学習することができる。 しかしながら、自律サイバー作戦(ACO)のRLエージェントは通常、スクラッチから学習し、結果を知るために望ましくない行動を実行する必要がある。 本研究では,我々のRLエージェントが直接活用できるサイバーセキュリティデータに基づいて事前訓練されたLarge Language Model(LLM)の形で外部知識を統合する。 初等訓練をLSMで指導することにより,基本性能を改善し,明らかな負の結果を伴う探索行動の必要性を低減できる。 シミュレーションサイバーセキュリティ環境でのLCM統合アプローチを評価し, 早期トレーニング中に指導エージェントが2倍以上の報酬を達成し, ベースラインよりも約4500エピソード早く, 好意的な方針に収束することが実証された。

関連論文リスト

• Proving the Utility of Large Language Models in Cybersecurity Simulations: A Comprehensive Examination [4.208276864195654]
  本稿では,Large Language Models (LLMs) がサイバーセキュリティシミュレーションをいかに促進するかを考察する。 複雑なネットワーク構成をシミュレートするための構造化表現形式としてYAMLを用いる。 古典的アプローチに対するLCMに基づく手法の利点について比較検討した。
  論文  参考訳（メタデータ） (2026-08-17T11:22:20Z)
• Distilling Knowledge from Large Language Models into Lightweight Reinforcement Learning Agents for Autonomous Cyber Operations [0.7090965808928492]
  大規模言語モデルは、ACO環境における自律的な防御的意思決定を改善する。 オンライン政策蒸留フレームワークは、モデルのサイズを桁違いに削減する。 報酬駆動型RL最適化と教師誘導型防衛戦略の間の政策調整制限の提言。
  論文  参考訳（メタデータ） (2026-07-30T20:28:02Z)
• Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
  ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
  論文  参考訳（メタデータ） (2026-06-30T17:00:33Z)
• LLM agents security duality: a comprehensive survey of self-security and empowered cybersecurity [13.20232770906974]
  大規模言語モデル(LLM)エージェントは、現実世界のシステムに急速に統合されている。 この調査は、犯罪や防衛のサイバーセキュリティのライフサイクルを強化する上で、LLMエージェントが果たす役割に焦点を当てている。
  論文  参考訳（メタデータ） (2026-06-26T09:32:11Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• ERA: Transforming VLMs into Embodied Agents via Embodied Prior Learning and Online Reinforcement Learning [73.35191368656224]
  先行知識学習とオンライン強化学習を統合したフレームワークである TextitEmbodied Reasoning Agent (ERA) を提案する。 ERAはスケーラブルなエンボディドインテリジェンスへの実践的なパスを提供し、将来のエンボディドAIシステムに対する方法論的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-10-14T16:25:46Z)
• The Path of Self-Evolving Large Language Models: Achieving Data-Efficient Learning via Intrinsic Feedback [51.144727949988436]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証した。 本研究では,最小限のデータを用いたLLによるLLMの改善について検討する。 データ依存を最小限に抑えるため、自己認識に基礎を置いた2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2025-10-03T06:32:10Z)
• CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning [1.3863707631653515]
  サイバーディフェンダーは、セキュリティ警告、脅威情報信号、ビジネスコンテキストの変化に圧倒されている。 既存の評価では、現実世界のディフェンダーに最も関係のあるシナリオを十分に評価していない。 我々はCyberSecEval 4.0のオープンソースベンチマークスイートであるCyberSOCEvalを紹介した。
  論文  参考訳（メタデータ） (2025-09-24T14:33:07Z)
• LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation [7.054214377609925]
  強化学習(RL)は、様々な領域で顕著な成功を収めている。 複雑なタスクに対する効果的なポリシーの訓練は依然として難しい。 既存のトレーニングボトルネックを軽減するアプローチは、2つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2025-05-27T03:40:02Z)
• Automatic Curriculum Learning for Driving Scenarios: Towards Robust and Efficient Reinforcement Learning [11.602831593017427]
  本稿では、強化学習(RL)を用いたエンドツーエンド自動運転エージェントの訓練の課題について述べる。 RLエージェントは通常、シミュレーションにおいて周囲の道路利用者の一定のシナリオと名目上の振る舞いで訓練される。 本稿では,エージェントの進化能力に基づいて,適応性のある複雑な運転シナリオを動的に生成する自動カリキュラム学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T06:26:57Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)
• Reinforcement Learning Environment with LLM-Controlled Adversary in D&D 5th Edition Combat [0.0]
  この研究では、より小さなエージェントにDeep Q-Networks(DQN)を採用し、戦略的AI開発のためのテストベッドを作成している。 高度な言語モデルをRLフレームワークに統合し、戦略的意思決定プロセスの強化に成功しました。
  論文  参考訳（メタデータ） (2025-03-19T22:48:20Z)
• OCCULT: Evaluating Large Language Models for Offensive Cyber Operation Capabilities [0.0]
  我々は、実世界の攻撃的サイバー操作の実現とスケーリングに向けたAIの進歩を評価するための新しいアプローチを実証する。 我々は、サイバーセキュリティの専門家が厳格かつ反復可能な測定に貢献できる軽量な運用評価フレームワークであるOCCULTについて詳述する。 私たちは、現実的なサイバー脅威をスケールするためにAIが使用されるリスクが、最近著しく進歩していることに気付きました。
  論文  参考訳（メタデータ） (2025-02-18T19:33:14Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents [101.17919953243107]
  GovSimは、大規模言語モデル(LLM)における戦略的相互作用と協調的意思決定を研究するために設計された生成シミュレーションプラットフォームである。 最強のLSMエージェントを除く全てのエージェントは、GovSimの持続的均衡を達成することができず、生存率は54%以下である。 道徳的思考の理論である「大学化」に基づく推論を活用するエージェントは、持続可能性を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-04-25T15:59:16Z)
• Depending on yourself when you should: Mentoring LLM with RL agents to become the master in cybersecurity games [0.0]
  SecurityBotは、サイバーセキュリティオペレーションをサポートするために、事前訓練されたRLエージェントが指導する強化学習エージェントである。 動作ガイドラインを生成するプロファイルモジュール、ローカルエクスペリエンスを蓄積するメモリモジュール、選択を再評価するリフレクションモジュール、アクションスペースを削減するアクションモジュールがサポートされている。 CybORG の実験フレームワーク上に構築された経験から,SecurityBot は LLM や RL のスタンドアロンと比較して,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-03-26T13:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。