論文の概要: AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
- arxiv url: http://arxiv.org/abs/2603.04902v1
- Date: Thu, 05 Mar 2026 07:45:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.126187
- Title: AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
- Title（参考訳）: AgentSCOPE:エージェントワークフロー全体でコンテキストプライバシを評価する
- Authors: Ivoline C. Ngong, Keerthiram Murugesan, Swanand Kadhe, Justin D. Weisz, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy,
- Abstract要約: エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。
本稿では,エージェント実行を情報フローのシーケンスに分解するフレームワークであるPrivacy Flow Graphを紹介する。
AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。
- 参考スコア（独自算出の注目度）: 32.40442323501255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic systems are increasingly acting on users' behalf, accessing calendars, email, and personal files to complete everyday tasks. Privacy evaluation for these systems has focused on the input and output boundaries, but each task involves several intermediate information flows, from agent queries to tool responses, that are not currently evaluated. We argue that every boundary in an agentic pipeline is a site of potential privacy violation and must be assessed independently. To support this, we introduce the Privacy Flow Graph, a Contextual Integrity-grounded framework that decomposes agentic execution into a sequence of information flows, each annotated with the five CI parameters, and traces violations to their point of origin. We present AgentSCOPE, a benchmark of 62 multi-tool scenarios across eight regulatory domains with ground truth at every pipeline stage. Our evaluation across seven state-of-the-art LLMs show that privacy violations in the pipeline occur in over 80% of scenarios, even when final outputs appear clean (24%), with most violations arising at the tool-response stage where APIs return sensitive data indiscriminately. These results indicate that output-level evaluation alone substantially underestimates the privacy risk of agentic systems.
- Abstract（参考訳）: エージェントシステムは、日々のタスクを完了させるためにカレンダー、メール、個人ファイルにアクセスすることで、ユーザの代理としてますます行動している。
これらのシステムのプライバシ評価は、入力と出力の境界に重点を置いているが、各タスクは、現在評価されていないエージェントクエリからツール応答まで、いくつかの中間情報フローを含む。
エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。
これをサポートするために、私たちは、エージェント実行を情報フローのシーケンスに分解するContextual Integrity-grounded frameworkであるPrivacy Flow Graphを導入しました。
AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。
7つの最先端のLCMに対する評価では、最終的なアウトプットがクリーン(24%)である場合でも、パイプライン内のプライバシ違反が80%以上のシナリオで発生し、APIが機密データを無差別に返却するツール応答段階では、ほとんどの違反が発生している。
これらの結果から, エージェントシステムのプライバシリスクは, アウトプットレベルの評価だけで著しく過小評価されていることが示唆された。
関連論文リスト
- CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty [8.976559755301658]
LLM(Large Language Model)エージェントの既存のベンチマークは、理想主義的な設定下でのタスク補完に焦点を当てている。
CAR-benchは、車内アシスタントドメインにおいて、多ターンツールを用いたLLMエージェントにおいて、一貫性、不確実性ハンドリング、能力意識を評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-01-29T17:33:42Z) - NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。
NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。
7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-01-21T05:16:50Z) - AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents [3.802907024025868]
AudAgentは、AIエージェントのデータプラクティスをリアルタイムで監視するビジュアルフレームワークである。
AudAgentは、リアルタイムに潜在的なプライバシーポリシー違反を効果的に識別する。
論文 参考訳（メタデータ） (2025-11-03T17:32:08Z) - CORTEX: Collaborative LLM Agents for High-Stakes Alert Triage [10.088447487211893]
SOC(Security Operations Centers)は、毎日何万ものアラートに圧倒されている。
この過負荷は警告の疲労を引き起こし、見過ごされた脅威やアナリストのバーンアウトにつながる。
警告トリアージのためのマルチエージェントLLMアーキテクチャであるCORTEXを提案する。
論文 参考訳（メタデータ） (2025-09-30T22:09:31Z) - 1-2-3 Check: Enhancing Contextual Privacy in LLM via Multi-Agent Reasoning [18.751008976082655]
プライバシ推論を専門のサブタスク(抽出,分類)に分解するマルチエージェントフレームワークを導入する。
情報フロートポロジに対して系統的なアブレーションを行い、上流検出がダウンストリームリークにカスケードを間違えた理由を明らかにした。
論文 参考訳（メタデータ） (2025-08-11T06:34:09Z) - MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。
まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。
次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文 参考訳（メタデータ） (2025-06-25T18:04:25Z) - InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。
本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。
本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
論文 参考訳（メタデータ） (2025-05-21T14:44:40Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳（メタデータ） (2024-08-29T17:58:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。