論文の概要: Ask the Expert: LLM-Guided Reinforcement Learning for Autonomous Cyber Defense

• arxiv url: http://arxiv.org/abs/2610.09337v1
• Date: Wed, 07 Oct 2026 02:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.685991
• Title: Ask the Expert: LLM-Guided Reinforcement Learning for Autonomous Cyber Defense
• Title（参考訳）: 専門家に聞く: 自律サイバー防衛のためのLLM誘導強化学習
• Abstract要約: 政策に基づく強化学習アプローチは、大きなアクション空間からのアクションによる遅延した部分的な観察の下で、ディフェンダーが応答しなければならない設定において、サンプル非効率である。 Ask the Expertは、まずハードサイバー防衛状態を要約したトレーニングタイムガイダンスフレームワークで、その後、制約されたアクションインターフェースを介して、ホストレベルの防御勧告を間欠的にLLMに問い合わせる。 この非対称設計は、PPOよりも試料効率を向上し、評価されたポテンシャルベース報酬形成(PBRS)ベースラインよりも優れ、最強の終端平均を維持し、展開時にLCM依存性を必要としない。
• 参考スコア（独自算出の注目度）: 42.86214906089097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy-based reinforcement learning (RL) approaches have produced promising results for autonomous cyber defense; however, they are sample-inefficient in settings where defenders must respond under delayed, partial observations with actions from large action spaces. While large language models (LLMs) may reason semantically about security state space, high latency and trust assumptions prevent attractive in-line deployment models. We introduce Ask the Expert, a training-time guidance framework which first summarizes hard cyber-defense states, then intermittently queries an LLM for host-level defensive recommendations via a constrained action interface, and finally transforms those recommendations into tiered reward shaping for use with PPO. Because the LLM is discarded after training, deployment is a pure RL policy. Across TTCP CAGE CC1 and CC2 and both attacker types, this asymmetric design improves sample efficiency over PPO and outperforms the evaluated potential-based reward shaping (PBRS) baselines, while retaining the strongest terminal mean and requiring no LLM dependency at deployment time.
• Abstract（参考訳）: 政策に基づく強化学習(RL)アプローチは、自律的なサイバー防衛に有望な結果をもたらしたが、大きなアクション空間からのアクションによって、防御者が遅延した部分的な観察の下で応答しなければならない環境では、サンプル非効率である。 大規模言語モデル(LLM)は、セキュリティ状態空間について意味論的に推論するが、高いレイテンシと信頼の前提は、魅力的なインラインデプロイメントモデルを妨げる。 Ask the Expertは、まずハードサイバー防衛状態を要約したトレーニングタイムガイダンスフレームワークで、その後、制約されたアクションインターフェースを介してホストレベルの防御レコメンデーションのために間欠的にLLMをクエリし、最終的にこれらのレコメンデーションを、PPOで使用するための階層化された報酬整形に変換する。 LLMはトレーニング後に破棄されるため、デプロイは純粋なRLポリシーである。 TTCP CAGE CC1 と CC2 と攻撃型の両方にまたがって、この非対称設計は、PPO よりもサンプル効率を向上し、評価された電位ベースの報酬形成(PBRS)ベースラインを上回り、最強の端末平均を維持しながら、デプロイメント時にLCM依存性を必要としない。

関連論文リスト

• Distilling Knowledge from Large Language Models into Lightweight Reinforcement Learning Agents for Autonomous Cyber Operations [0.7090965808928492]
  大規模言語モデルは、ACO環境における自律的な防御的意思決定を改善する。 オンライン政策蒸留フレームワークは、モデルのサイズを桁違いに削減する。 報酬駆動型RL最適化と教師誘導型防衛戦略の間の政策調整制限の提言。
  論文  参考訳（メタデータ） (2026-07-30T20:28:02Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• MCP Safety Training: Learning to Refuse Falsely Benign MCP Exploits using Improved Preference Alignment [0.0]
  モデルコンテキストプロトコル(MCP)は、生成AIエージェントのシームレスな統合を可能にするオープン標準として広く採用されている。 最近の研究によると、MPPは検索ベースの「偽の良さ」AI攻撃(FBA)の影響を受けており、悪意のあるシステムアクセスとクレデンシャル盗難を可能にしている。 攻撃者は、悪意のあるコンテンツをオンラインで投稿するだけで、MCPエージェントを騙して、不審な被害者のシステムに対する攻撃を行なえることを示す。
  論文  参考訳（メタデータ） (2025-05-29T16:44:29Z)
• LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation [7.054214377609925]
  強化学習(RL)は、様々な領域で顕著な成功を収めている。 複雑なタスクに対する効果的なポリシーの訓練は依然として難しい。 既存のトレーニングボトルネックを軽減するアプローチは、2つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2025-05-27T03:40:02Z)
• Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
  静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。 オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。 大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:37:44Z)
• Robust LLM safeguarding via refusal feature adversarial training [15.76605079209956]
  大規模言語モデル(LLM)は、有害な応答を誘発する敵攻撃に対して脆弱である。 本稿では,敵対的訓練を効率的に行う新しいアルゴリズムReFATを提案する。 実験結果から, ReFATは, 広範囲な敵攻撃に対する3つのLLMのロバスト性を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-30T08:41:39Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。