論文の概要: Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs

• arxiv url: http://arxiv.org/abs/2603.17902v1
• Date: Wed, 18 Mar 2026 16:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.824842
• Title: Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs
• Title（参考訳）: 生成型AIエージェントにおける差別的プライバシ:分析と最適トレードオフ
• Authors: Ya-Ting Yang, Quanyan Zhu,
• Abstract要約: 大規模言語モデル(LLM)とAIエージェントは、企業システムに統合され、内部データベースにアクセスし、コンテキスト対応の応答を生成する。 このような統合によって生産性と意思決定サポートが向上する一方で、モデル出力は必然的にセンシティブな情報を明らかにする可能性がある。 本稿では,AIエージェントのプライバシー漏洩を差分プライバシーに基づいて解析するための確率的フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 22.661656301757663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) and AI agents are increasingly integrated into enterprise systems to access internal databases and generate context-aware responses. While such integration improves productivity and decision support, the model outputs may inadvertently reveal sensitive information. Although many prior efforts focus on protecting the privacy of user prompts, relatively few studies consider privacy risks from the enterprise data perspective. Hence, this paper develops a probabilistic framework for analyzing privacy leakage in AI agents based on differential privacy. We model response generation as a stochastic mechanism that maps prompts and datasets to distributions over token sequences. Within this framework, we introduce token-level and message-level differential privacy and derive privacy bounds that relate privacy leakage to generation parameters such as temperature and message length. We further formulate a privacy-utility design problem that characterizes optimal temperature selection.
• Abstract（参考訳）: 大規模言語モデル(LLM)とAIエージェントは、企業システムに統合され、内部データベースにアクセスし、コンテキスト対応の応答を生成する。 このような統合によって生産性と意思決定サポートが向上する一方で、モデル出力は必然的にセンシティブな情報を明らかにする可能性がある。 ユーザプロンプトのプライバシ保護に多くの先行的な取り組みがあったが、企業データの観点からプライバシリスクを考慮する研究は比較的少ない。 そこで本研究では,AIエージェントのプライバシー漏洩を差分プライバシーに基づいて解析する確率的フレームワークを開発した。 我々は、トークン列上のプロンプトとデータセットを分布にマップする確率的なメカニズムとして応答生成をモデル化する。 本フレームワークでは,トークンレベルおよびメッセージレベルの差分プライバシと,温度やメッセージ長などの生成パラメータにプライバシの漏洩を関連づけたプライバシ境界を導入する。 さらに、最適温度選択を特徴付けるプライバシーユーティリティ設計問題を定式化する。

関連論文リスト

• Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models [47.866853046761044]
  トレーニングデータの多様で微妙なパターンは、コンテキストプライバシを低下させる可能性がある。 微調整されたモデルは、コンテキストプライバシの規範を推論する能力を失う。 この結果から, 現状の安全性評価に重大なギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-01-21T17:53:06Z)
• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Generative AI for Secure and Privacy-Preserving Mobile Crowdsensing [74.58071278710896]
  生成AIは、学術分野と産業分野の両方から多くの注目を集めている。 セキュアでプライバシ保護のモバイルクラウドセンシング(SPPMCS)は、データ収集/取得に広く応用されている。
  論文  参考訳（メタデータ） (2024-05-17T04:00:58Z)
• PAC Privacy Preserving Diffusion Models [6.299952353968428]
  拡散モデルは、高いプライバシーと視覚的品質の両方で画像を生成することができる。 しかし、特定のデータ属性の民営化において堅牢な保護を確保するといった課題が発生する。 PACプライバシー保護拡散モデル(PAC Privacy Preserving Diffusion Model)を導入する。
  論文  参考訳（メタデータ） (2023-12-02T18:42:52Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。