論文の概要: Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models

• arxiv url: http://arxiv.org/abs/2606.09401v1
• Date: Mon, 08 Jun 2026 12:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.974503
• Title: Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models
• Title（参考訳）: 大規模言語モデルの適応のための経験的プライバシー保護のベンチマーク
• Authors: Bartłomiej Marek, Lorenzo Rossi, Vincent Hanke, Xun Wang, Michael Backes, Franziska Boenisch, Adam Dziedzic,
• Abstract要約: 大規模言語モデル(LLM)におけるDP適応下のプライバシーリスクについて検討する。 我々は、ロバストなメンバシップ推論やカナリアデータ抽出といった最先端攻撃を用いて、これらのリスクをベンチマークする。 パラメータ効率のよいLoRAのような微調整手法は,OODデータに対して最も高いプライバシー保護を実現する。
• 参考スコア（独自算出の注目度）: 35.164227002323706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has applied differential privacy (DP) to adapt large language models (LLMs) for sensitive applications, offering theoretical guarantees. However, its practical effectiveness remains unclear, partly due to LLM pretraining, where overlaps and interdependencies with adaptation data can undermine privacy despite DP efforts. To analyze this issue in practice, we investigate privacy risks under DP adaptations in LLMs using state-of-the-art attacks such as robust membership inference and canary data extraction. We benchmark these risks by systematically varying the adaptation data distribution, from exact overlaps with pretraining data, through in-distribution (IID) cases, to entirely out-of-distribution (OOD) examples. Additionally, we evaluate how different adaptation methods and different privacy regimes impact the vulnerability. Our results show that distribution shifts strongly influence privacy vulnerability: the closer the adaptation data is to the pretraining distribution, the higher the practical privacy risk at the same theoretical guarantee, even without direct data overlap. We find that parameter-efficient fine-tuning methods, such as LoRA, achieve the highest empirical privacy protection for OOD data. Our benchmark identifies key factors for achieving practical privacy in DP LLM adaptation, providing actionable insights for deploying customized models in sensitive settings. Looking forward, we propose a structured framework for holistic privacy assessment beyond adaptation privacy, to identify and evaluate risks across the full pretrain-adapt pipeline of LLMs.
• Abstract（参考訳）: 最近の研究は、大きな言語モデル(LLM)をセンシティブなアプリケーションに適用するために差分プライバシー(DP)を適用し、理論的保証を提供している。 しかし、LCM事前訓練による適応データとの重複や相互依存が、DPの努力にもかかわらずプライバシーを損なう可能性があるため、実用的効果は未定である。 この問題を実際に分析するために、ロバストなメンバーシップ推論やカナリアデータ抽出といった最先端の攻撃を用いて、LDMにおけるDP適応によるプライバシーリスクを調査する。 本研究は, 適応データ分布を事前学習データと正確な重なり合いから, 分散内(IID)ケース, 分散外(OOD)ケースまで, 系統的に変化させることにより, これらのリスクをベンチマークする。 さらに、異なる適応方法と異なるプライバシ体制が脆弱性に与える影響を評価する。 適応データが事前学習分布に近づくほど、直接データ重複のない場合でも、理論的に同じ保証で実用的なプライバシリスクが高くなる。 パラメータ効率のよいLoRAのような微調整手法は,OODデータに対して最も高いプライバシー保護を実現する。 本ベンチマークでは,DP LLM適応における実用的なプライバシを実現するための重要な要因を特定し,機密性の高い設定でカスタマイズされたモデルをデプロイするための実用的な洞察を提供する。 今後,LLMの完全適応パイプラインにおけるリスクの特定と評価を行うため,適応プライバシを超える全体的プライバシ評価のための構造化フレームワークを提案する。

関連論文リスト

• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks? [8.189149471520542]
  細調整された大規模言語モデル(LLM)は、特定のタスクに適応するための重要な戦略となっている。 差分プライバシー(DP)はそのような漏洩に対して強力な理論的保証を提供するが、LLMにおける経験的プライバシーの有効性は未だ不明である。 本稿では,DPが微調整方法やプライバシー予算に与える影響を体系的に検討する。
  論文  参考訳（メタデータ） (2025-04-28T05:34:53Z)
• Evaluating Differential Privacy on Correlated Datasets Using Pointwise Maximal Leakage [38.4830633082184]
  データ駆動の進歩はプライバシーに重大なリスクをもたらす。 差分プライバシーは プライバシー保護の 基盤になっている 私たちの研究は、微妙なプライバシーリスクの理解を深め、より効果的なプライバシー保護メカニズムの開発の必要性を強調することを目的としています。
  論文  参考訳（メタデータ） (2025-02-08T10:30:45Z)
• Communication-Efficient and Privacy-Adaptable Mechanism for Federated Learning [54.20871516148981]
  通信効率・プライバシー適応メカニズム(CEPAM)について紹介する。 CEPAMは通信効率とプライバシー保護を同時に達成する。 我々は、CEPAMのプライバシー保証を理論的に分析し、CEPAMのユーザプライバシと正確性の間のトレードオフを調査する。
  論文  参考訳（メタデータ） (2025-01-21T11:16:05Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Flexible Differentially Private Vertical Federated Learning with Adaptive Feature Embeddings [24.36847069007795]
  垂直連合学習(VFL)は、プライバシー保護の欠陥に対する懸念を刺激している。 本稿では、データプライバシとVFLのタスクユーティリティ目標との微妙な均衡を差分プライバシー(DP)下で検討する。 我々は2つの目標を分離し、それらを順次解決するフレキシブルで汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-26T04:40:51Z)
• A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning [4.322221694511603]
  差分プライバシー(DP)は、データのプライバシー問題に対処するための魅力的なフレームワークである。 DPは、機密データから情報を公開する際に生じるプライバシー損失に数学的に証明可能な境界を提供する。 一般のwERMに対する最初の微分プライベートアルゴリズムを提案し、理論DPを保証する。
  論文  参考訳（メタデータ） (2023-07-24T21:03:25Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。