論文の概要: Design Principles for the Construction of a Benchmark Evaluating Security Operation Capabilities of Multi-agent AI Systems

• arxiv url: http://arxiv.org/abs/2603.28998v1
• Date: Mon, 30 Mar 2026 21:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:02.860917
• Title: Design Principles for the Construction of a Benchmark Evaluating Security Operation Capabilities of Multi-agent AI Systems
• Title（参考訳）: マルチエージェントAIシステムのセキュリティ運用能力評価ベンチマーク構築のための設計原理
• Abstract要約: 大規模言語モデル(LLM)とマルチエージェントAIシステムは、サイバーセキュリティオペレーションの可能性を増している。 この文献では、コーディネートされたマルチタスク・ブルーチームAIを評価するための体系的なベンチマークは提案されていない。 我々は,大規模なランサムウェア攻撃インシデント応答の文脈において,5つのブルーチームタスクからなるSOC-benchの概念設計を開発した。
• 参考スコア（独自算出の注目度）: 3.183568971165364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) and multi-agent AI systems are demonstrating increasing potential in cybersecurity operations, organizations, policymakers, model providers, and researchers in the AI and cybersecurity communities are interested in quantifying the capabilities of such AI systems to achieve more autonomous SOCs (security operation centers) and reduce manual effort. In particular, the AI and cybersecurity communities have recently developed several benchmarks for evaluating the red team capabilities of multi-agent AI systems. However, because the operations in SOCs are dominated by blue team operations, the capabilities of AI systems & agents to achieve more autonomous SOCs cannot be evaluated without a benchmark focused on blue team operations. To our best knowledge, no systematic benchmark for evaluating coordinated multi-task blue team AI has been proposed in the literature. Existing blue team benchmarks focus on a particular task. The goal of this work is to develop a set of design principles for the construction of a benchmark, which is denoted as SOC-bench, to evaluate the blue team capabilities of AI. Following these design principles, we have developed a conceptual design of SOC-bench, which consists of a family of five blue team tasks in the context of large-scale ransomware attack incident response.
• Abstract（参考訳）: 大規模言語モデル(LLM)とマルチエージェントAIシステムがサイバーセキュリティオペレーションのポテンシャルを増しているため、組織、政策立案者、モデル提供者、AIおよびサイバーセキュリティコミュニティの研究者は、このようなAIシステムの能力を定量化し、より自律的なSOC(セキュリティ運用センター)を達成することに興味を持ち、手作業の労力を減らそうとしている。 特に、AIとサイバーセキュリティコミュニティは、最近、マルチエージェントAIシステムのレッドチーム能力を評価するためのいくつかのベンチマークを開発した。 しかし、SOCの運用はブルーチーム操作に支配されているため、より自律的なSOCを実現するAIシステムやエージェントの能力は、ブルーチーム操作に焦点を当てたベンチマークなしで評価することはできない。 我々の知る限り、コーディネートされたマルチタスク・ブルーチームAIを評価するための体系的なベンチマークは文献では提案されていない。 既存のブルーチームのベンチマークは、特定のタスクに重点を置いている。 この研究の目的は、AIのブルーチーム能力を評価するために、SOC-benchと呼ばれるベンチマークを構築するための一連の設計原則を開発することである。 これらの設計原則に従い、大規模なランサムウェア攻撃インシデント応答の文脈において、5つのブルーチームタスクのファミリーからなるSOC-benchの概念設計を開発した。

関連論文リスト

• Autonomous Incident Resolution at Hyperscale: An Agentic AI Architecture for Network Operations [0.33842793760651557]
  本稿では,大規模ネットワーク運用における自律的インシデント解決のためのエージェントAIアーキテクチャを提案する。 我々のシステムは、人間の介入なしにネットワークインシデントを検出し、診断し、修正するために、専門のAIエージェントが協力するマルチエージェントオーケストレーションフレームワークを採用している。
  論文  参考訳（メタデータ） (2026-06-08T07:15:53Z)
• A Practical Guide to Agentic AI Transition in Organizations [4.085087405595323]
  エージェントAIは、組織内でのインテリジェンスの適用方法に大きな変化をもたらします。 本稿では,手動プロセスから自動エージェントAIシステムへ組織機能を移行するための実用的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-01-27T10:49:59Z)
• Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
  我々は9つの詳細なサイバーリスクモデルを開発する。 各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。 個々の見積もりはモンテカルロシミュレーションによって集約される。
  論文  参考訳（メタデータ） (2025-12-09T17:54:17Z)
• Fundamentals of Building Autonomous LLM Agents [64.39018305018904]
  本稿では,大規模言語モデル(LLM)を用いたエージェントのアーキテクチャと実装手法について概説する。 この研究は、複雑なタスクを自動化し、人間の能力でパフォーマンスのギャップを埋めることのできる「アジェンティック」なLLMを開発するためのパターンを探求することを目的としている。
  論文  参考訳（メタデータ） (2025-10-10T10:32:39Z)
• Creative Adversarial Testing (CAT): A Novel Framework for Evaluating Goal-Oriented Agentic AI Systems [0.0]
  CAT(Creative Adversarial Testing)は、エージェントAIタスクとシステムの意図する目的との間の複雑な関係をキャプチャして分析するために設計された、新しいアプローチである。 我々は、Alexa+オーディオサービスに倣った合成相互作用データを用いて、CATフレームワークを広範囲にシミュレーションすることで検証する。 我々の結果は、CATフレームワークが目標とタスクのアライメントに関する前例のない洞察を提供し、エージェントAIシステムのより効率的な最適化と開発を可能にしていることを実証している。
  論文  参考訳（メタデータ） (2025-09-26T23:52:20Z)
• A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
  既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。 近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。 この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-08-10T16:07:32Z)
• Towards a Playground to Democratize Experimentation and Benchmarking of AI Agents for Network Troubleshooting [48.131257144711576]
  ネットワークトラブルシューティングにおけるAIエージェントの適用に焦点を当てる。 標準化され、再現可能で、オープンなベンチマークプラットフォームの必要性について詳しく説明します。
  論文  参考訳（メタデータ） (2025-07-01T08:46:37Z)
• Report on NSF Workshop on Science of Safe AI [75.96202715567088]
  機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。 AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。 本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
  論文  参考訳（メタデータ） (2025-06-24T18:55:29Z)
• TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems [8.683314804719506]
  本稿では,エージェントマルチエージェントシステム(AMAS)における信頼・リスク・セキュリティマネジメント(TRiSM)の構造的分析について述べる。 まず、エージェントAIの概念的基礎を調べ、従来のAIエージェントとアーキテクチャ的区別を強調します。 次に、Textit Explainability、ModelOps、Security、Privacy、Textittheirのガバナンスガバナンスといった重要な柱を中心に構築された、エージェントAIのためのAI TRiSMフレームワークを適応して拡張します。 調整失敗から調整失敗まで、エージェントAIのユニークな脅威と脆弱性を捉えるためにリスク分類法が提案されている。
  論文  参考訳（メタデータ） (2025-06-04T16:26:11Z)
• A Unified Framework for Human AI Collaboration in Security Operations Centers with Trusted Autonomy [10.85035493967822]
  本稿では,セキュリティ・オペレーション・センター(SOC)におけるヒューマン・AI連携のための構造化された枠組みについて述べる。 我々は,手動から完全自律までの5段階のAI自律性に基づく,新しい自律型フレームワークを提案する。 これにより、監視、保護、脅威検出、警告トリアージ、インシデント応答を含む、コアSOC関数間の適応的で説明可能なAI統合が可能になる。
  論文  参考訳（メタデータ） (2025-05-29T12:35:08Z)
• Towards AI-Driven Human-Machine Co-Teaming for Adaptive and Agile Cyber Security Operation Centers [3.959615037146599]
  セキュリティオペレーションセンター(SOC)は、大量のアラート、熟練したアナリストの不足、不十分な統合ツールによって、サイバーセキュリティの脅威を管理する上で、ますます難しい課題に直面している。 我々は、脅威インテリジェンス、警告トリアージ、インシデント応答を強化するために、大規模言語モデル(LLM)を活用するAI駆動のヒューマンマシン共同チームパラダイムを導入する。 我々は,LSMをベースとしたAIエージェントが,SOC操作に埋め込まれた暗黙の知識を人間アナリストから学ぶというビジョンを提示する。
  論文  参考訳（メタデータ） (2025-05-09T19:38:26Z)
• ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems [80.69865295743149]
  この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。