論文の概要: AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows

• arxiv url: http://arxiv.org/abs/2603.04902v1
• Date: Thu, 05 Mar 2026 07:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.126187
• Title: AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
• Title（参考訳）: AgentSCOPE:エージェントワークフロー全体でコンテキストプライバシを評価する
• Abstract要約: エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。 本稿では,エージェント実行を情報フローのシーケンスに分解するフレームワークであるPrivacy Flow Graphを紹介する。 AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。
• 参考スコア（独自算出の注目度）: 32.40442323501255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic systems are increasingly acting on users' behalf, accessing calendars, email, and personal files to complete everyday tasks. Privacy evaluation for these systems has focused on the input and output boundaries, but each task involves several intermediate information flows, from agent queries to tool responses, that are not currently evaluated. We argue that every boundary in an agentic pipeline is a site of potential privacy violation and must be assessed independently. To support this, we introduce the Privacy Flow Graph, a Contextual Integrity-grounded framework that decomposes agentic execution into a sequence of information flows, each annotated with the five CI parameters, and traces violations to their point of origin. We present AgentSCOPE, a benchmark of 62 multi-tool scenarios across eight regulatory domains with ground truth at every pipeline stage. Our evaluation across seven state-of-the-art LLMs show that privacy violations in the pipeline occur in over 80% of scenarios, even when final outputs appear clean (24%), with most violations arising at the tool-response stage where APIs return sensitive data indiscriminately. These results indicate that output-level evaluation alone substantially underestimates the privacy risk of agentic systems.
• Abstract（参考訳）: エージェントシステムは、日々のタスクを完了させるためにカレンダー、メール、個人ファイルにアクセスすることで、ユーザの代理としてますます行動している。 これらのシステムのプライバシ評価は、入力と出力の境界に重点を置いているが、各タスクは、現在評価されていないエージェントクエリからツール応答まで、いくつかの中間情報フローを含む。 エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。 これをサポートするために、私たちは、エージェント実行を情報フローのシーケンスに分解するContextual Integrity-grounded frameworkであるPrivacy Flow Graphを導入しました。 AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。 7つの最先端のLCMに対する評価では、最終的なアウトプットがクリーン(24%)である場合でも、パイプライン内のプライバシ違反が80%以上のシナリオで発生し、APIが機密データを無差別に返却するツール応答段階では、ほとんどの違反が発生している。 これらの結果から, エージェントシステムのプライバシリスクは, アウトプットレベルの評価だけで著しく過小評価されていることが示唆された。

関連論文リスト

• DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
  我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。 結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。 これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
  論文  参考訳（メタデータ） (2026-08-27T02:36:23Z)
• An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios [3.9838595042419076]
  シンガポールのAI安全研究所と韓国のAI安全研究所の共同評価を報告する。 この評価は、データ認識の欠如、オーディエンス認知、ポリシーコンプライアンス、データ最小化、アクセス境界認識の5つのリスクタイプをカバーする。 以上の結果から, 操作データ漏洩は, 対外濾過とは異なる一階のエージェントセーフティの懸念であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T09:16:38Z)
• PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
  LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。 既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。 LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
  論文  参考訳（メタデータ） (2026-05-29T04:55:12Z)
• DataClaw: A Process-Oriented Agent Benchmark for Exploratory Real-World Data Analysis [76.98578575566184]
  DataClawは、探索的実世界のデータ分析のためのプロセス指向のベンチマークである。 企業、産業、および政策ドメイン全体で約2億6600万の現実世界の記録がある。 DataClawは、エージェントがどこまで進歩し、その推論がどこで壊れるかを測定する。
  論文  参考訳（メタデータ） (2026-05-04T11:57:09Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• AgentRaft: Automated Detection of Data Over-Exposure in LLM Agents [40.88941407116349]
  本稿では,大規模言語モデル(LLM)エージェントにおけるデータオーバー露光(DOE)リスクを検出するための,最初の自動化フレームワークであるAgentRaftを紹介する。 実世界のエージェントツール6,675のテスト環境でAgentRaftを評価した。
  論文  参考訳（メタデータ） (2026-03-08T09:40:54Z)
• Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems [5.100622189286672]
  逐次マルチエージェント大規模言語モデル (LLM) システムにおいて, 偶発的プライバシー漏洩について検討する。 そこで本研究では,エージェント出力とエージェントローカル依存変数間の情報フローを直接制約する,プライバシ規則化されたトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:23:03Z)
• CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty [8.976559755301658]
  LLM(Large Language Model)エージェントの既存のベンチマークは、理想主義的な設定下でのタスク補完に焦点を当てている。 CAR-benchは、車内アシスタントドメインにおいて、多ターンツールを用いたLLMエージェントにおいて、一貫性、不確実性ハンドリング、能力意識を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-01-29T17:33:42Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents [3.802907024025868]
  AudAgentは、AIエージェントのデータプラクティスをリアルタイムで監視するビジュアルフレームワークである。 AudAgentは、リアルタイムに潜在的なプライバシーポリシー違反を効果的に識別する。
  論文  参考訳（メタデータ） (2025-11-03T17:32:08Z)
• CORTEX: Collaborative LLM Agents for High-Stakes Alert Triage [10.088447487211893]
  SOC(Security Operations Centers)は、毎日何万ものアラートに圧倒されている。 この過負荷は警告の疲労を引き起こし、見過ごされた脅威やアナリストのバーンアウトにつながる。 警告トリアージのためのマルチエージェントLLMアーキテクチャであるCORTEXを提案する。
  論文  参考訳（メタデータ） (2025-09-30T22:09:31Z)
• 1-2-3 Check: Enhancing Contextual Privacy in LLM via Multi-Agent Reasoning [18.751008976082655]
  プライバシ推論を専門のサブタスク(抽出,分類)に分解するマルチエージェントフレームワークを導入する。 情報フロートポロジに対して系統的なアブレーションを行い、上流検出がダウンストリームリークにカスケードを間違えた理由を明らかにした。
  論文  参考訳（メタデータ） (2025-08-11T06:34:09Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
  InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。 本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。 本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-21T14:44:40Z)
• AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
  我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。 我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
  論文  参考訳（メタデータ） (2025-03-12T19:30:31Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。