論文の概要: PrivacyFlow: Privacy in AI Agents through Information Flow Analysis and Consequence-Aware Risk Management

• arxiv url: http://arxiv.org/abs/2610.40714v1
• Date: Thu, 29 Oct 2026 01:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.449301
• Title: PrivacyFlow: Privacy in AI Agents through Information Flow Analysis and Consequence-Aware Risk Management
• Title（参考訳）: プライバシフロー:情報フロー分析とリスク管理によるAIエージェントのプライバシ
• Abstract要約: エージェントプライバシベンチは、動的環境更新を伴う986タスクシーケンスにおける5873タスクのベンチマークである。 また、議論的なプライバシー計画とタスク実行を分離する防御であるPrivacyFlowも導入しています。
• 参考スコア（独自算出の注目度）: 47.77126258708634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous LLM agents executing multi-step workflows over personal data often misalign with user privacy expectations and leak sensitive, out-of-context information. Although Contextual Integrity (CI) formalizes this problem, existing benchmarks and defenses rarely operationalize CI for realistic multi-step task sequences in evolving environments. In this work, we first introduce agentic PrivacyBench, a benchmark of 5873 tasks in 986 task sequences with dynamic environment updates and CI-grounded allow-sets for sensitive information. We also introduce PrivacyFlow, a defense that separates deliberative privacy planning (System 2) from task execution (System 1), treating each sharing decision as a structured risk-management problem. Before execution, PrivacyFlow traces the provenance and purpose of each planned data flow, models recipient background knowledge, and simulates what external actors could infer. This allows us to model the downstream consequences of disclosure, including inference attacks and context-dependent harms. It then weighs the remaining disclosure risk against task utility and executes a minimized plan, blocks it, or consults the user. Across six models, PrivacyFlow significantly reduces step-level privacy failures and raises the share of completed task sequences without a detected privacy violation by 22--55 percentage points. We further highlight a new privacy--utility--autonomy tradeoff: allowing PrivacyFlow to proactively prompt the user in case of uncertainty can increase authorized task completion at the cost of shifting decision effort back to the user. Our results suggest that proactive CI reasoning can substantially improve agentic privacy and motivate further study of this tradeoff.
• Abstract（参考訳）: 個人データ上でマルチステップワークフローを実行する自律LLMエージェントは、ユーザプライバシの期待に反し、センシティブでアウト・オブ・コンテクストの情報をリークすることが多い。 コンテキスト統合(CI)はこの問題を形式化するが、既存のベンチマークとディフェンスは進化する環境において、現実的なマルチステップタスクシーケンスのためにCIを運用することは滅多にない。 本研究ではまず,986タスクシーケンスにおける5873タスクのベンチマークであるエージェントPrivacyBenchを紹介した。 また、議論的なプライバシ計画(システム2)とタスク実行(システム1)を分離し、各共有決定を構造化されたリスク管理問題として扱う、プライバシフローも導入する。 実行前に、PrivacyFlowは、計画された各データフローの成果と目的をトレースし、モデルがバックグラウンド知識を受信し、外部アクターが推測できるものをシミュレートする。 これにより、推論攻撃やコンテキスト依存の害など、開示の下流結果のモデル化が可能になります。 その後、タスクユーティリティに対する残りの開示リスクを重み付け、最小限の計画を実行し、それをブロックし、ユーザをコンサルティングする。 6つのモデルで、プライバシFlowはステップレベルのプライバシ障害を著しく低減し、検出されたプライバシ違反を22～55ポイント削減することなく完了したタスクシーケンスのシェアを増大させる。さらに、プライバシFlowが不確実性のある場合には、ユーザに積極的に通知する、新たなプライバシ-ユーティリティ-自律的トレードオフを強調します。 以上の結果から,プロアクティブCI推論はエージェントプライバシを大幅に改善し,このトレードオフのさらなる研究を動機付けることが示唆された。

関連論文リスト

• Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs [22.661656301757663]
  大規模言語モデル(LLM)とAIエージェントは、企業システムに統合され、内部データベースにアクセスし、コンテキスト対応の応答を生成する。 このような統合によって生産性と意思決定サポートが向上する一方で、モデル出力は必然的にセンシティブな情報を明らかにする可能性がある。 本稿では,AIエージェントのプライバシー漏洩を差分プライバシーに基づいて解析するための確率的フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-18T16:35:12Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
  我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。 我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
  論文  参考訳（メタデータ） (2025-03-12T19:30:31Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。