論文の概要: Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations
- arxiv url: http://arxiv.org/abs/2609.30345v1
- Date: Thu, 24 Sep 2026 13:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.072737
- Title: Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations
- Title(参考訳): コーディングエージェントはそれほど多くない! エージェントクラウド調査のためのエンタープライズセキュリティ脳の評価
- Abstract要約: 我々は、リレーショナル基質がオフラインで解決され、クエリ時にセキュリティロジックが評価されるセキュリティインテリジェンス層を評価する。
Sola Security Brainは0.387に対して0.693カバレッジに達し、0.306の差は3段階のドローでpm 0.018$で変化した。
より弱いモデル層から、タスク当たりの推論コストが17.7ドル、カバー単位あたりのコストが31.6ドルと、28タスクのうち25タスクが導かれる。
- 参考スコア(独自算出の注目度): 0.39583175274885346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cloud-security investigation is dominated by population tasks: which identities can read a data store, how many resources fail a control, which assets are reachable from another account. These resolve against a complete inventory, not a named object. A partial answer to one is not a partial result. It is a different result. General-purpose coding agents can now be given read-only cloud credentials and asked to investigate directly, which raises the question of what a purpose-built security context layer still contributes. We evaluate the Sola Security Brain, a security intelligence layer whose relational substrate is resolved offline and whose security logic is evaluated against it at query time, against Claude Code operating the same live AWS environment through a read-only CLI, over 28 cloud-security investigation tasks. Answers are scored by a blinded, tier-weighted, grounding-gated relative recall over the joint claim pool, averaged across three independent grading draws. The Sola Security Brain reaches 0.693 coverage against 0.387, a gap of 0.306 that varied by $\pm 0.018$ across three grading draws, or a relative gain of $79.2\%$. It leads on 25 of 28 tasks from the weaker model tier, at $17.7\times$ lower reasoning cost per task and $31.6\times$ lower cost per unit of coverage. Beyond the aggregate, we describe an answer-level pattern we term sample-and-generalise: under a turn budget the live agent enumerates a fraction of a large population, asserts an unhedged universal negative, and discloses the sample size only in answer metadata rather than in the answer. In one task it reported that no bucket policies exist after checking four bucket families, in a sweep that sampled 40 of roughly 5{,}000 buckets, in an account where 65 buckets carry a wildcard-principal read grant.
- Abstract(参考訳): クラウドセキュリティの調査は、データストアを読み取ることができるID、コントロールが失敗するリソースの数、他のアカウントからアクセス可能な資産など、人口調査に支配されている。
これらは、名前付きオブジェクトではなく、完全な在庫に対する解決である。
部分的な答えは部分的な結果ではない。
それは別の結果です。
汎用コーディングエージェントは、読み取り専用クラウド認証を付与し、直接調査するよう依頼することができる。
私たちは、リレーショナル基質がオフラインで解決され、クエリ時にセキュリティロジックが評価されるセキュリティインテリジェンス層であるSola Security Brainを、読み取り専用CLIを通じて同じライブAWS環境を運用するClaude Codeに対して、28以上のクラウドセキュリティ調査タスクに対して評価します。
回答は、3つの独立したグレーティングドローの平均値である、ブラインドされ、階層化され、グラウンド化された相対的なリコールによって得られる。
Sola Security Brainは0.387に対して0.693カバレッジに達し、0.306のギャップは3グレーディングドローで$\pm 0.018$、相対利得は79.2\%である。
より弱いモデル層から、タスク当たりの推論コストが17.7ドル、カバー単位あたりのコストが31.6ドルと、28タスクのうち25タスクが導かれる。
ターン予算の下で、ライブエージェントは、大集団のごく一部を列挙し、非ヘッジされた普遍的否定を主張し、回答のメタデータの中でのみ、サンプルサイズを開示する。
あるタスクでは、4つのバケットファミリーをチェックした後、65個のバケットがワイルドカード・プリンシパル読み取り権限を持つアカウントで約5,000個のバケットの40個のサンプルを採取した、バケットポリシーは存在しないと報告した。
関連論文リスト
- Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - Context Inference Attacks Without Jailbreaks [8.976271168028534]
セキュリティゲームを通じて,Emphcontext-inference攻撃を導入,形式化する。
我々は、攻撃者の知識を減らし、既知のコンテキスト、未知のコンテキスト、エージェントが自身のツールコールを通じて取得するコンテキストの3つの設定を評価する。
1回の攻撃は3つの設定を全て変更せずに行う。
論文 参考訳(メタデータ) (2026-08-31T21:53:52Z) - If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。
OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
論文 参考訳(メタデータ) (2026-08-27T19:35:48Z) - AgentWorld: Personality-Aware Reliability Evaluation for Agentic Information Retrieval [1.1647715835517187]
AgentWorldは、パーソナリティ駆動のユーザ人口とステートフルなツール使用環境を組み合わせたシミュレーションフレームワークである。
10のOCEANペルソナにわたる会話分析エージェント(240の評価者判断)、5つのタスクにわたるカスタマーサポートエージェント($times$4のペルソナ変種)、既存のトラジェクタの不安定さを示す5つのタスクの逆ストレステストである。
論文 参考訳(メタデータ) (2026-08-25T05:15:33Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳(メタデータ) (2026-08-04T06:01:14Z) - Does Runtime Topology Context Improve LLM-Generated Kubernetes Security Patches? [0.0]
KuTIEはIstioのコールエッジ、Trivy KSPMの発見、ワークロードが読み込みするサービスアカウントバインディング、条件パッチから、ライブクラスタコンテキストを構築する。
VulnCareは、目的で構築された36のデプロイ、4つのヘルスケアクラスタで、7つの依存クラスに31のインジェクト可能な結果がある。
論文 参考訳(メタデータ) (2026-07-28T17:12:12Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳(メタデータ) (2026-06-01T19:39:25Z) - PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。
既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。
LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
論文 参考訳(メタデータ) (2026-05-29T04:55:12Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳(メタデータ) (2026-05-11T16:20:51Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。