論文の概要: No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents

• arxiv url: http://arxiv.org/abs/2610.00557v1
• Date: Wed, 30 Sep 2026 18:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.699188
• Title: No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents
• Title（参考訳）: 階層的レッドチームエージェントのクロス環境評価
• Abstract要約: 強化学習(RL)と大規模言語モデル(LLM)は、そのようなエージェントが必要とする計画と実行を補完するメカニズムを提供する。 我々は、RLエグゼキュータ(RL+RL)とLLMエグゼキュータ(LLM+LLM)の2つの均質な階層型レッドチームアーキテクチャを比較した。 RL+RLはコンパクトで高報酬のCAGE-4(78.5%は破壊的成功、最強のLLM構成では18.0%)と100ホストのCyberwheelネットワーク(81.0%対50.5%)に勝利する。 キルチェーン解析はアーキテクチャによる逆転を説明する-
• 参考スコア（独自算出の注目度）: 19.289664650815286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous red team agents increasingly stress-test AI-enabled cyber defenses by planning strategy and executing multistage attacks. Reinforcement learning (RL) and large language models (LLMs) offer complementary mechanisms for the planning and execution such agents require, and prior work has combined them in hybrid hierarchies. Yet a given architecture is typically developed and evaluated within a single environment, leaving open whether an observed advantage reflects a generally stronger decision mechanism or merely alignment with a particular setting. We address this gap with a controlled cross-environment comparison of two homogeneous hierarchical red team architectures: an RL planner with an RL executor (RL+RL) and an LLM planner with an LLM executor (LLM+LLM). We evaluate both against expert autonomous defenders in CybORG CAGE-4 and in Cyberwheel at two network scales, across 18 configurations under one unified disruption metric. We find a pronounced environment-dependent inversion. RL+RL wins the compact, densely rewarded CAGE-4 (78.5% disruption success versus 18.0% for the strongest LLM configuration) and the 100-host Cyberwheel network (81.0% versus 50.5%), while a pretrained cybersecurity LLM agent wins the larger, escalation-gated 1010-host Cyberwheel network (55.0% versus 0.0% for RL). A kill-chain analysis explains the inversion through architecture-specific bottlenecks that aggregate success rates conceal.In the 1010-host Cyberwheel network, RL discovers and compromises hosts but stalls at privilege escalation, whereas in CAGE-4, LLM agents obtain privileged access but rarely convert it into operational impact. These results indicate that conclusions drawn in a single environment may not generalize, and that hybrid planner-executor designs should be motivated by specific failure modes rather than the assumption that one architecture is universally preferable.
• Abstract（参考訳）: 自律的なレッドチームエージェントは、戦略を計画し、マルチステージ攻撃を実行することで、AI対応サイバーディフェンスをますますストレステストする。 強化学習(RL)と大規模言語モデル(LLM)は、そのようなエージェントが必要とする計画と実行を補完するメカニズムを提供する。 しかし、与えられたアーキテクチャは通常、単一の環境で開発され、評価され、観察された利点が一般的により強い決定メカニズムを反映しているか、あるいは単に特定の設定と一致しているかは、未解決のままである。 このギャップは、RLエグゼキュータ(RL+RL)とLLMエグゼキュータ(LLM+LLM)の2つの均質な階層型レッドチームアーキテクチャの相互環境比較によって解決される。 我々は,CybORG CAGE-4とCyberwheelの2つのネットワークスケールにおいて,統合的ディスラプション尺度に基づく18の構成において,専門家の自律ディフェンダーに対して評価を行った。 環境依存の逆転が顕著である。 RL+RLは、コンパクトで密度の高いCAGE-4(最強のLLM構成では78.5%が破壊的成功率18.0%)と100ホストのCyberwheelネットワーク(81.0%対50.5%)に勝利し、事前訓練されたサイバーセキュリティのLLMエージェントは、より大きくエスカレーションされた1010ホストのCyberwheelネットワーク(RLでは55.0%対0.0%)に勝利した。 1010ホストのCyberwheelネットワークでは、RLはホストを検出して妥協するが、特権のエスカレーションでは停止する。一方、CAGE-4では、LLMエージェントは特権アクセスを取得しているが、運用上の影響は滅多にない。 これらの結果から, 単一環境での結論は一般化せず, ハイブリッドプランナー・エグゼクタ設計は, 一つのアーキテクチャが普遍的に望ましいという仮定よりも, 特定の障害モードによって動機付けられることが示唆された。

関連論文リスト

• Towards Hierarchical Cyber Defense with Large Language Models: From Planning to Execution [8.56054061802862]
  強化学習(RL)で訓練された自律サイバーディフェンダーは、訓練されたネットワークに縛られるのが一般的である。 我々は,ゼロショット大言語モデル (LLM) が階層型サイバー防御においてリトレーニング不要な制御を実現できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-09-30T18:53:03Z)
• Hierarchical Control in Multi-Agent Games: LLM-based Planning and RL Execution [33.648826376348985]
  強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定において高いパフォーマンスを達成している。 本稿では,事前訓練された大規模言語モデル (LLM) が中心的戦略制御系として機能する階層型アーキテクチャを提案する。 我々は,このハイブリッドシステムを,行動木(BT)とemphFlat''のRLに対して,競争力のある2v2 King of the Hill環境において評価した。
  論文  参考訳（メタデータ） (2026-06-18T09:47:06Z)
• A Red Teaming Framework for Evaluating Robustness of AI-enabled Security Orchestration, Automation, and Response Systems [8.56054061802862]
  大規模言語モデル(LLM)と強化学習(RL)を統合した,自律的なレッドチーム編成フレームワークを導入する。 階層設計では、戦略目的のためのLSMベースのプランナーと戦術実行のためのRLコントローラを組み合わせる。
  論文  参考訳（メタデータ） (2026-05-16T16:46:06Z)
• Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework [9.460661802313835]
  CyberOps-Botsは、Large Language Models (LLM)によって強化された階層型マルチエージェント強化学習フレームワークである。 実際のクラウドデータセットの実験では、最先端のアルゴリズムと比較して、CyberOps-Botsはネットワーク可用性を68.5%高く維持している。 当社のフレームワークをコミュニティにリリースし、クラウドネットワークにおける堅牢で自律的な防衛の進展を促進します。
  論文  参考訳（メタデータ） (2026-01-12T01:25:41Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• Leveraging AI Agents for Autonomous Networks: A Reference Architecture and Empirical Studies [18.534083337294188]
  この研究は、ジョゼフ・シファキス(Joseph Sifakis)のAN Agent参照アーキテクチャを機能認知システムに実装することで、アーキテクチャ理論と運用現実のギャップを埋める。 5G NR sub-6 GHz において,サブ10ms のリアルタイム制御を実演し,外ループリンク適応 (OLLA) アルゴリズムよりも6% 高いダウンリンクスループットを実現した。 これらの改善により、従来の自律的障壁を克服し、次世代の目標に向けて重要なL4エナリング能力を推し進めるアーキテクチャの生存性が確認される。
  論文  参考訳（メタデータ） (2025-09-10T06:24:57Z)
• SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
  自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。 本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
  論文  参考訳（メタデータ） (2025-06-26T18:00:07Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。