論文の概要: DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

• arxiv url: http://arxiv.org/abs/2507.04531v1
• Date: Sun, 06 Jul 2025 20:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.227328
• Title: DP-Fusion: Token-Level Differentially Private Inference for Large Language Models
• Title（参考訳）: DPフュージョン:大規模言語モデルに対するトークンレベル差分プライベート推論
• Authors: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas,
• Abstract要約: 大規模言語モデル(LLM)は、誤って、あるいは逆向きに誘導されたときに、生成された出力を通じて、コンテキストからセンシティブな情報を漏洩することができる。 DP-Fusion はトークンレベルの微分プライベート推論(DPI)機構で,LLM の出力が,そのコンテキストにおける機密トークンについてどの程度の値を示すかを示す。
• 参考スコア（独自算出の注目度）: 37.73455762168357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can leak sensitive information from their context through generated outputs, either accidentally or when prompted adversarially. Existing defenses that aim to preserve context privacy during inference either lack formal guarantees or suffer from a poor utility/privacy trade-off. We propose DP-Fusion, a token-level Differentially Private Inference (DPI) mechanism that provably bounds how much an LLM's outputs reveal about sensitive tokens in its context. We demonstrate DPI through the task of document privatization, where the goal is to paraphrase documents so that sensitive content (e.g., Personally Identifiable Information, PII) cannot be reliably inferred, while still preserving the overall utility of the text. This is controlled by a parameter $\epsilon$: $\epsilon=0$ hides PII entirely, while higher values trade off privacy for improved paraphrase quality. DP-Fusion works as follows: (i) partition sensitive tokens into disjoint privacy groups, (ii) run the LLM once per group, and (iii) blend the output distributions so that the final output remains within a fixed statistical distance of the baseline distribution produced when no privacy group is revealed. This approach allows fine-grained control over the privacy/utility trade-off but requires multiple LLM forward passes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、誤って、あるいは逆向きに誘導されたときに、生成された出力を通じて、コンテキストからセンシティブな情報を漏洩することができる。 推論中にコンテキストプライバシを保護しようとする既存の防御は、正式な保証が欠如しているか、ユーティリティ/プライバシのトレードオフに悩まされている。 DP-Fusion はトークンレベルの微分プライベート推論(DPI)機構で,LLM の出力が,そのコンテキストにおける機密トークンについてどの程度の値を示すかを示す。 文書民営化の課題を通じてDPIを実証し、文書の総合的な有用性を保ちながら、機密性のあるコンテンツ(例えば、個人識別可能情報、PII)を確実に推測できないよう、文書を言い換えることが目的である。 これはパラメータ$\epsilon$:$\epsilon=0$がPIIを完全に隠しているのに対して、より高い値はパラフレーズ品質の改善のためにプライバシをオフにする。 DPフュージョンは次のように機能する。 一 機密トークンを不随意のプライバシーグループに分割すること。 (ii)グループ毎に一度 LLM を実行し、 三 出力分布をブレンドし、最終出力が、プライバシ群が明らかにされていない場合に発生するベースライン分布の一定の統計的距離内に留まるようにする。 このアプローチは、プライバシ/ユーティリティのトレードオフをきめ細かいコントロールを可能にしますが、複数のLSMフォワードパスが必要です。

関連論文リスト

• Differentially Private In-context Learning via Sampling Few-shot Mixed with Zero-shot Outputs [13.790550802100842]
  インコンテキスト学習(ICL)は、関連するインプット・アウトプット・サンプル(デモ)でプロンプトを増強することで改善できる。 ICLのデモには、プライバシーに敏感な情報が含まれており、LLM出力によってリークまたは/またはリグルギットすることができる。 ゼロショット出力と混合した複数のワンショット出力の積をサンプリングしてDPテキストを生成するデコードフレームワークである$textttdps-mozo$を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:48:38Z)
• Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation [13.692397169805806]
  差分プライバシー(DP)は、NLPでますます人気が高まっている。 DPが適用される粒度の選択はしばしば無視される。 以上の結果から, 文書レベルのNMTシステムは, メンバーシップ推論攻撃に対する耐性が高いことが示唆された。
  論文  参考訳（メタデータ） (2024-07-26T14:52:37Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Differentially Private Synthetic Data via Foundation Model APIs 2: Text [56.13240830670327]
  現実世界で生成された高品質なテキストデータはプライベートであり、プライバシー上の懸念から自由に共有したり、利用したりすることはできない。 テキストの複雑な設定に適用可能な拡張PEアルゴリズムであるAug-PEを提案する。 その結果, Aug-PE は SOTA DP の微調整ベースラインと競合する DP 合成テキストを生成することがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:57:50Z)
• Conciliating Privacy and Utility in Data Releases via Individual Differential Privacy and Microaggregation [4.287502453001108]
  $epsilon$-Differential Privacy(DP)は、強力なプライバシ保証を提供するよく知られたプライバシモデルである。 被験者にDPと同じ保護を提供しながらデータ歪みを低減させるiDP ($epsilon$-individual differential privacy) を提案する。 本稿では,2次データ解析の精度を著しく低下させることのない保護データを提供しながら,我々のアプローチが強力なプライバシ(小額のepsilon$)を提供することを示す実験について報告する。
  論文  参考訳（メタデータ） (2023-12-21T10:23:18Z)
• Production of Categorical Data Verifying Differential Privacy: Conception and Applications to Machine Learning [0.0]
  差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。 ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。 いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
  論文  参考訳（メタデータ） (2022-04-02T12:50:14Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。