論文の概要: Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations
- arxiv url: http://arxiv.org/abs/2609.30345v2
- Date: Mon, 28 Sep 2026 10:07:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-29 21:31:51.812962
- Title: Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations
- Title（参考訳）: コーディングエージェントはそれほど多くない! エージェントクラウド調査のためのエンタープライズセキュリティ脳の評価
- Abstract要約: 読み取り専用CLIを用いて、同一のライブ環境を操作する2つのコーディングエージェントに対して、Sola Security Brainを評価する。
サンプル・アンド・ジェネラルズという回答レベルのパターンについて述べる。
- 参考スコア（独自算出の注目度）: 0.39583175274885346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cloud-security investigation is dominated by population tasks: which identities can read a data store, how many resources fail a control, what is reachable from another account. These resolve against a complete inventory, not a named object, so a partial answer to one is not a partial result but a different one. Coding agents can now be given read-only cloud credentials and asked to investigate directly, which raises the question of what a purpose-built security context layer still contributes. We evaluate the Sola Security Brain, a security intelligence layer whose relational substrate is resolved offline and whose security logic is evaluated against it at query time, against two coding agents operating the same live AWS environment through a read-only CLI, Claude Code and OpenAI Codex, over 28 investigation tasks. All three are scored by a blinded, tier-weighted, grounding-gated relative recall over one joint claim pool, so the scores share a denominator. The Sola Security Brain reaches 0.549 +/- 0.012 coverage against 0.340 +/- 0.011 for Claude Code and 0.281 +/- 0.006 for Codex, with the ordering identical in every grading draw. It leads 24 of 28 tasks from the cheapest model tier, at 17.8x and 20.8x lower cost per task than Claude Code and Codex. Beyond the aggregate, we describe an answer-level pattern we term sample-and-generalise: both agents enumerate a fraction of a large population, assert an unhedged universal negative, and disclose the sample size only in answer metadata rather than in the answer. In one task Claude Code reported that no bucket policies exist after checking four bucket families, in a sweep that sampled 40 of roughly 5,000 buckets, in an account where 65 buckets carry a wildcard-principal read grant.
- Abstract（参考訳）: クラウドセキュリティの調査は、データストアを読み取ることのできるID、コントロールが失敗するリソースの数、他のアカウントから到達可能なものなど、人口調査に支配されている。
これらは、名前付きオブジェクトではなく完全な在庫に対する解決であり、それに対して部分的な回答は、部分的な結果ではなく、別の結果である。
コーディングエージェントは読み取り専用クラウド認証を付与され、直接調査するよう要求される。
私たちは、リレーショナル基質がオフラインで解決され、クエリ時にセキュリティロジックが評価されるセキュリティインテリジェンス層であるSola Security Brainを、読み取り専用CLI、Claude Code、OpenAI Codexを通じて、同じライブAWS環境を操作する2つのコーディングエージェントに対して28以上の調査タスクとして評価します。
これら3つのスコアは、ブラインドされ、階層化され、グラウンド化された相対的なリコールによって、1つのジョイントクレームプール上でスコアされ、スコアはディノミネーターを共有する。
Sola Security BrainはClude Codeの0.340 +/- 0.011に対して0.549 +/- 0.012カバレッジに達し、Codexの0.281 +/- 0.006はグレーディングドロー毎に同一である。
最も安価なモデル層から28タスクのうち24タスクを導いており、Claude CodeやCodexよりも17.8倍、タスク毎の20.8倍のコストがかかる。
いずれのエージェントも、大集団のごく一部を列挙し、非ヘッジな普遍的否定を主張し、回答のメタデータの中でのみ、サンプルサイズを開示する。
あるタスクでは、Claude Code氏が、4つのバケットファミリーをチェックした後、65個のバケットがワイルドカード・プリンシパルの読み取り許可を持っているアカウントで、約5000個のバケットの40個のサンプルを採取した状態でバケットポリシーは存在しないと報告した。
関連論文リスト
- Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - Context Inference Attacks Without Jailbreaks [8.976271168028534]
セキュリティゲームを通じて,Emphcontext-inference攻撃を導入,形式化する。
我々は、攻撃者の知識を減らし、既知のコンテキスト、未知のコンテキスト、エージェントが自身のツールコールを通じて取得するコンテキストの3つの設定を評価する。
1回の攻撃は3つの設定を全て変更せずに行う。
論文 参考訳（メタデータ） (2026-08-31T21:53:52Z) - If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。
OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
論文 参考訳（メタデータ） (2026-08-27T19:35:48Z) - AgentWorld: Personality-Aware Reliability Evaluation for Agentic Information Retrieval [1.1647715835517187]
AgentWorldは、パーソナリティ駆動のユーザ人口とステートフルなツール使用環境を組み合わせたシミュレーションフレームワークである。
10のOCEANペルソナにわたる会話分析エージェント(240の評価者判断)、5つのタスクにわたるカスタマーサポートエージェント($times$4のペルソナ変種)、既存のトラジェクタの不安定さを示す5つのタスクの逆ストレステストである。
論文 参考訳（メタデータ） (2026-08-25T05:15:33Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳（メタデータ） (2026-08-04T06:01:14Z) - Does Runtime Topology Context Improve LLM-Generated Kubernetes Security Patches? [0.0]
KuTIEはIstioのコールエッジ、Trivy KSPMの発見、ワークロードが読み込みするサービスアカウントバインディング、条件パッチから、ライブクラスタコンテキストを構築する。
VulnCareは、目的で構築された36のデプロイ、4つのヘルスケアクラスタで、7つの依存クラスに31のインジェクト可能な結果がある。
論文 参考訳（メタデータ） (2026-07-28T17:12:12Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。
既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。
LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
論文 参考訳（メタデータ） (2026-05-29T04:55:12Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。