論文の概要: CoSec: Benchmarking Agent Security in Communities
- arxiv url: http://arxiv.org/abs/2609.34790v2
- Date: Tue, 29 Sep 2026 04:44:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.770626
- Title: CoSec: Benchmarking Agent Security in Communities
- Title（参考訳）: CoSec: コミュニティにおけるベンチマークエージェントのセキュリティ
- Abstract要約: textbfCoSecはエージェントシステムのプライバシと権限執行を評価するための実行可能なベンチマークである。
実行トレースとアーティファクトを使用して、アクティブな認証状態に対する情報フローを検証する。
タスクユーティリティは、プライバシや認証のコンプライアンスを暗示しない。
- 参考スコア（独自算出の注目度）: 27.13512548856535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents operate in persistent collaborative environments involving multiple users, communities, memories, files, and tools. Community boundaries may remain fixed or evolve with changes in membership, roles, composition, and relationships. Agents must complete legitimate tasks and prevent unauthorized disclosure of protected information. Existing evaluations do not fully examine these risks in agent systems. We introduce \textbf{CoSec}, an executable benchmark for evaluating privacy and authorization enforcement in LLM agent systems operating within and across communities. CoSec contains 208 canonical scenarios spanning fixed and evolving boundaries, protected information belonging to the agent owner or other participants, and attacks through dialogue, environmental content, persistent memory, and composed workflows. CoSec executes complete agent systems with persistent sessions, memory, files and tools. It verifies information flows against the active authorization state using execution traces and artifacts. Across harness and model configurations, agents frequently complete benign tasks but violate privacy and authorization boundaries. Privacy behavior varies across harnesses, attack surfaces, and community states, revealing how memory, files, tools, and workflows can carry protected information beyond its authorized scope. These findings show that task utility does not imply privacy or authorization compliance and that authorization in community settings remains an unresolved security challenge for persistent LLM agents.
- Abstract（参考訳）: LLMエージェントは、複数のユーザ、コミュニティ、記憶、ファイル、ツールを含む永続的な協調環境で動作する。
コミュニティの境界線は、メンバーシップ、役割、構成、関係の変化とともに固定され、進化し続ける。
エージェントは、正当なタスクを完了し、保護された情報の不正な開示を防止する必要がある。
既存の評価では、エージェントシステムにおけるこれらのリスクを十分に検証していない。
コミュニティ内およびコミュニティ間で動作する LLM エージェントシステムにおいて,プライバシと認証の強制力を評価するための実行可能なベンチマークである \textbf{CoSec} を紹介する。
CoSecには、固定境界と進化境界にまたがる208の標準的なシナリオ、エージェント所有者または他の参加者の保護された情報、対話、環境コンテンツ、永続メモリ、構成ワークフローによる攻撃が含まれている。
CoSecは、永続的なセッション、メモリ、ファイル、ツールを備えた完全なエージェントシステムを実行する。
実行トレースとアーティファクトを使用して、アクティブな認証状態に対する情報フローを検証する。
ハーネスとモデル構成全体にわたって、エージェントはしばしば良心的なタスクを完成させるが、プライバシと認可の境界に違反する。
プライバシの振る舞いは、ハーネス、アタックサーフェス、およびコミュニティ状態によって異なり、メモリ、ファイル、ツール、ワークフローが、認証されたスコープを超えて保護された情報を運ぶことができるかを明らかにする。
これらの結果から,タスクユーティリティはプライバシや認証コンプライアンスを含まないこと,コミュニティ設定における認証は,永続的LLMエージェントに対する未解決のセキュリティ課題であることがわかった。
関連論文リスト
- Security of Agent-Integrated Software: When Human Operations and Agent Actions Coexist [12.727090232663954]
Agent-Integrated Softwareは、インテリジェントエージェントを従来のアプリケーションに組み込む。
ヒューマンオペレーションは、ユーザが正確な変更を行い、結果を検査するのに対して、エージェントアクションはルーチンや複数ステップのタスクを実行します。
セキュリティポリシーは、両方のパスで有効でなければならない。
論文 参考訳（メタデータ） (2026-09-19T21:51:25Z) - PiSAs: Benchmarking Contextual Integrity in Multi-User Agentic Systems [29.778310164003557]
意図しないリークを評価するためのベンチマークPiSA(Privacy in Shared Agentic Systems)を紹介する。
これにより、エージェントシステムコンポーネントやインターフェース間でのユーザ間の流出を直接測定できる。
システム設計はCIコンプライアンスを改善するが、誤ったLCM判定コールによって結果がボトルネックになることがわかった。
論文 参考訳（メタデータ） (2026-07-06T16:57:24Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation [13.654207263751156]
大規模言語モデル(LLM)エージェントは、会話インターフェースから、計画し、ツールを呼び出し、メモリを保守し、外部環境に作用するソフトウェアコンポーネントへと急速に移行している。
本稿では,情報フロー,委任権限,永続状態の相互作用に関するエージェントのセキュリティをモデル化するライフサイクルベースのシステム指向フレームワークを用いて,247の論文を合成する。
また, プロンプトインジェクションとツールによる制御-フローハイジャックが依然としてこの分野を支配しているのに対し, 永続的な状態破壊とマルチエージェントの伝播が中心的な関心事となっている。
論文 参考訳（メタデータ） (2026-06-09T12:01:07Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。
LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。
emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文 参考訳（メタデータ） (2026-05-16T12:53:31Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents [60.23552141928126]
PSG-AgentはLLMベースのエージェントのためのパーソナライズされた動的システムである。
まずPSG-Agentは、安定した特性のために相互作用履歴をマイニングすることでパーソナライズされたガードレールを作成する。
第二に、PSG-Agentは特別なガードでエージェントパイプラインを横断する継続的監視を実装している。
論文 参考訳（メタデータ） (2025-09-28T03:31:59Z) - SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems [10.393477652794747]
大規模言語モデル(LLM)や視覚言語モデル(VLM)の最近の進歩は、複雑な推論とマルチモーダルツールの使用が可能な強力な自律エージェントを可能にしている。
能力の増大にもかかわらず、今日のエージェントフレームワークは脆弱であり、セキュアな情報フロー、信頼性、マルチエージェント調整のための原則的なメカニズムが欠如している。
SAFEFLOWは信頼性の高いLDM/VLMベースのエージェントを構築するための新しいプロトコルレベルフレームワークである。
論文 参考訳（メタデータ） (2025-06-09T09:04:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。