論文の概要: AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents

• arxiv url: http://arxiv.org/abs/2610.19158v1
• Date: Tue, 13 Oct 2026 20:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.800337
• Title: AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents
• Title（参考訳）: AgentCIScope:LLMエージェントのコンテキスト統合性評価
• Abstract要約: 本稿では,エージェントレベルのコンテキスト整合性を評価するための統一プラットフォームとベンチマークであるAgentCIScopeを紹介する。 936のタスクに対して12のエージェントを評価し,強いタスク補完能力がコンテキスト統合を保証していないことを発見した。
• 参考スコア（独自算出の注目度）: 19.875379195689224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are becoming increasingly capable of handling daily workspace tasks by interacting with application environments through tool calls. However, as agents read and write sensitive user data across email, documents, and other applications, a central privacy question is whether they preserve contextual integrity (CI), that is, whether the information flows they produce comply with context-specific disclosure constraints. Existing work either focuses on model-level privacy leakage or evaluates agents in limited application environments with manually constructed disclosure constraints. In this work, we introduce AgentCIScope, a unified platform and benchmark for evaluating agent-level contextual integrity through executable, multi-step tasks across diverse, realistic application environments. AgentCIScope transforms public and synthetic privacy cases into executable agent tasks, with disclosure constraints grounded in three criteria: governing privacy policies, persona-based agreement, and a predefined sensitive-attribute taxonomy. Based on AgentCIScope, we evaluate 12 agents on 936 tasks and find that strong task-completion capability does not guarantee contextual-integrity preservation: single-run leakage rates range from 32.5% to 94.4%, while repeating each task five times further increases leakage by 4-19 percentage points. Leakage varies substantially across attributes: personal preferences and booking details have average leakage rates of 84.7% and 76.5%, compared with 17.1% for credit-card information and 29.4% for SSNs; environments: calendar has the highest average leakage rate as an information source, while WhatsApp ranks highest as an information destination; and governing privacy policies. AgentCIScope provides deep insights into agent privacy leakage and serves as a unified testbed for developing privacy-preserving agents.
• Abstract（参考訳）: LLMエージェントは、ツールコールを通じてアプリケーション環境と対話することで、日々のワークスペースタスクを処理する能力が高まっている。 しかし、エージェントが電子メール、ドキュメント、その他のアプリケーション間で機密性の高いユーザーデータを読み取り、書き込みする際、中心となるプライバシー問題は、それらがコンテキスト整合性(CI)を維持するかどうか、すなわち、それらが生成する情報フローがコンテキスト固有の開示制約に従うかどうかである。 既存の作業は、モデルレベルのプライバシリークに焦点を当てるか、手動で構築された公開制約のある限定的なアプリケーション環境におけるエージェントを評価する。 本稿では,エージェントレベルのコンテキスト整合性を評価するための統合プラットフォームとベンチマークであるAgentCIScopeを紹介する。 AgentCIScopeは、公開および合成プライバシのケースを実行可能なエージェントタスクに変換する。公開の制約は、プライバシポリシーの管理、ペルソナベースの合意、事前定義された機密属性の分類という3つの基準に基礎を置いている。 AgentCIScopeに基づいて、936タスク上の12エージェントを評価し、強いタスク補完能力がコンテキスト統合保存を保証していないことを発見した。 個人の嗜好と予約の詳細は平均リークレート84.7%と76.5%、クレジットカード情報17.1%、SSN29.4%、環境: カレンダーは情報ソースとして平均リークレートが最も高く、WhatsAppは情報目的地として最高、プライバシーポリシーは最高である。 AgentCIScopeは、エージェントのプライバシー漏洩に関する深い洞察を提供し、プライバシ保護エージェントを開発するための統合テストベッドとして機能する。

関連論文リスト

• Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents [1.0742675209112622]
  大規模言語モデルエージェントは、データベースのクエリの増加、ドキュメントコレクションの検索、外部APIの呼び出し、過去のインタラクションの記憶、ユーザの代理として振る舞う。 質問に答えることから、機密データを操作することに移行するにつれ、プライバシの強制は難しくなる。 我々は, LLMエージェントのプライバシをデータ中心の視点から調査し, 攻撃タイプではなく, エージェントが触れるデータを中心としたフィールドを整理する。
  論文  参考訳（メタデータ） (2026-06-25T05:44:18Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents [76.60965179634664]
  ディープリサーチエージェントは、プライベートなローカルドキュメントをWeb検索のような外部ツールと組み合わせて、プライバシーリスクを生じさせている。 プライベートなエンタープライズドキュメントとパブリックなWebコーパスをチェーンする1,001のディープリサーチタスクのベンチマークであるMosaicLeaksを紹介します。 私たちは、家族やサイズにわたるモデルが3つのレベルすべてに頻繁にリークしていることに気付きました。
  論文  参考訳（メタデータ） (2026-05-29T01:44:35Z)
• AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows [32.40442323501255]
  エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。 本稿では,エージェント実行を情報フローのシーケンスに分解するフレームワークであるPrivacy Flow Graphを紹介する。 AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。
  論文  参考訳（メタデータ） (2026-03-05T07:45:31Z)
• Privacy in Action: Towards Realistic Privacy Mitigation and Evaluation for LLM-Powered Agents [40.39717403627143]
  モデルに依存しないコンテキスト整合性に基づく緩和アプローチであるPrivacyCheckerを提案する。 静的ベンチマークを動的MPPとA2A環境に変換するPrivacyLens-Liveも導入しています。 私たちのデータとコードはhttps://aka.ms/privacy_in_action.orgで公開されます。
  論文  参考訳（メタデータ） (2025-09-22T08:19:06Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。