論文の概要: Open Security Benchmark: Towards Autonomous Enterprise Cyber Defense
- arxiv url: http://arxiv.org/abs/2607.27288v1
- Date: Wed, 29 Jul 2026 14:46:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.284225
- Title: Open Security Benchmark: Towards Autonomous Enterprise Cyber Defense
- Title（参考訳）: Open Security Benchmark: 自律型エンタープライズサイバーディフェンスを目指す
- Abstract要約: この作業にAIをエージェントするフレームワークであるOpen Security Benchmark(OSB)を紹介します。
OSBは、凍結した、セキュリティ状態の全体像である、企業環境のキュレーションを表面化します。
OSBは、データ層、タスクと評価セット層、多次元スコアリング層、最小監査可能なハーネスの5つのコンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 0.49157446832511503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprises are moving toward autonomous cyber defense: agentic AI that builds situational awareness of an organization's security state and reasons from it to assessments, decisions, and actions. This rests on a holistic view of the enterprise's security state, the continuous, cross-vendor picture of identities, cloud and infrastructure, data, applications, and their configurations that security posture management assembles. As agents take on this work, what matters is not whether an agent can produce an answer but whether it should be trusted to. The field cannot yet answer this question. Real enterprise environments are private, cross-vendor, and deeply correlated, and none is exposed publicly as a shared, queryable target for evaluating such agents end to end. We call this the environment data gap. We present Open Security Benchmark (OSB), a framework that benchmarks agentic AI on this work. OSB surfaces a curated enterprise environment - a frozen, holistic view of the security state - and evaluates posture investigation across two modalities: text-to-SQL over a relational snapshot and each vendor's native API over a served instance of the same environment. Freezing the environment pins the target state as an immutable snapshot and anchors answers to a closed-form ground truth. OSB is built from five components: a data layer, a task and evaluation-set layer, a multi-dimensional scoring layer, a minimal auditable harness, and a bring-your-own path that serves public comparison and private tenant evaluation from one substrate. We instantiate the framework with two identity-security packs and a family of synthetic-organization environment datasets spanning multiple scales, and chart its extension to further posture subdomains, investigation modalities, and defense stages from assessment toward remediation.
- Abstract（参考訳）: 企業は自律的なサイバー防衛に向かっている。組織のセキュリティ状態の状況認識と、評価、決定、行動への理由を構築するエージェントAIだ。
これは、企業のセキュリティ状態の全体像、アイデンティティ、クラウドとインフラストラクチャ、データ、アプリケーション、およびセキュリティ姿勢管理が組み立てる構成の継続的、クロスベンダな図に基づいています。
エージェントがこの仕事を引き受けるとき、重要なことは、エージェントが回答を生成できるかどうかではなく、信頼されるべきかどうかである。
この分野はまだこの質問に答えることができない。
実際のエンタープライズ環境はプライベートであり、クロスベンダであり、深く相関している。
これを環境データギャップと呼びます。
この作業でエージェントAIをベンチマークするフレームワークであるOpen Security Benchmark(OSB)を紹介します。
また、リレーショナルスナップショット上のテキストからSQLと、同じ環境のサービスインスタンス上の各ベンダのネイティブAPIという2つのモードにわたる姿勢調査を評価している。
環境を凍結すると、ターゲット状態が不変スナップショットとして固定され、クローズドフォームの地上真実への回答がアンカーされる。
OSBは、データ層、タスクと評価セット層、多次元のスコアリング層、最小限の監査可能なハーネス、そして1つの基板からの公開比較とプライベートテナント評価を提供する持ち込み可能なパスの5つのコンポーネントで構成されている。
2つのアイデンティティ・セキュリティ・パックと、複数のスケールにまたがる合成組織環境データセットのファミリでフレームワークをインスタンス化し、その拡張をさらなる姿勢サブドメイン、調査モダリティ、防衛段階までチャート化する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response [38.89333299127352]
我々は、インシデント-レスポンス後のワークフローにおいて、LLM(Large Language Model)エージェントを評価するための最初のベンチマークであるSecRespondを紹介する。
私たちはこのタスクを10のサイバー範囲でインスタンス化します。
実験の結果, 現行のエージェントは警報が発する問題を確実に発見できるが, サイレント侵入の円盤を積極的に調査することは困難であることがわかった。
論文 参考訳（メタデータ） (2026-07-29T11:32:23Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - CyberMaskQA: A Privacy-Aware Benchmark for Evaluating Large Language Models in Cybersecurity Question Answering [8.946002046630845]
CYBERMASKQAは、主要なセキュリティドメインをカバーするプライバシ対応のQAベンチマークである。
データセットは、体系的なパイプラインを通じて生成され、人間の計算したベースシナリオとLLM駆動のセマンティック展開を組み合わせる。
QA精度とマスキング性能の評価は、ベンチマークの有用性を示している。
論文 参考訳（メタデータ） (2026-05-23T22:57:13Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Securing Computer-Use Agents: A Unified Architecture-Lifecycle Framework for Deployment-Grounded Reliability [21.333731425525205]
この記事では、CUAのデプロイメント基盤信頼性のためのアーキテクチャライフサイクルフレームワークを開発する。
この分析は、代表システム、ベンチマーク、およびセキュリティ/プライバシー研究を合成する。
論文 参考訳（メタデータ） (2026-05-08T01:38:46Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - AgenticCyOps: Securing Multi-Agentic AI Integration in Enterprise Cyber Operations [7.660803748903973]
マルチエージェントシステム(MAS)は適応的で推論駆動の企業を約束するが、ツール、メモリ、通信の自律的な制御をエージェントに与えることで、決定論的パイプラインが欠如する攻撃面を導入する。
AgenticCyOpsは、コンポーネント層、調整層、プロトコル層にまたがる攻撃面を体系的に分解するフレームワークである。
このフレームワークをSecurity Operations Center(SOC)ワークフローに適用し、モデルコンテキストプロトコル(MCP)を構造基盤として採用する。
論文 参考訳（メタデータ） (2026-03-10T03:15:36Z) - CyberExplorer: Benchmarking LLM Offensive Security Capabilities in a Real-World Attacking Simulation Environment [19.76065689241692]
CyberExplorerは、現実世界のCTF課題から派生した40の脆弱なWebサービスをホストする仮想マシン上に構築された、オープンな環境ベンチマークである。
フラグのリカバリ,インタラクションダイナミクスのキャプチャ,コーディネーション動作,障害モード,脆弱性検出信号といった,詳細な評価が可能になる。
論文 参考訳（メタデータ） (2026-02-08T15:56:22Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。
セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
論文 参考訳（メタデータ） (2025-09-30T18:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。