論文の概要: Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2406.14322v3
• Date: Fri, 16 Aug 2024 15:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 19:52:42.509916
• Title: Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning
• Title（参考訳）: 言語モデルファインチューニングのためのユーザレベル差分プライバシー
• Authors: Lynn Chua, Badih Ghazi, Yangsibo Huang, Pritish Kamath, Ravi Kumar, Daogao Liu, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang,
• Abstract要約: 差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
• 参考スコア（独自算出の注目度）: 62.224804688233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have emerged as powerful tools for tackling complex tasks across diverse domains, but they also raise privacy concerns when fine-tuned on sensitive data due to potential memorization. While differential privacy (DP) offers a promising solution by ensuring models are 'almost indistinguishable' with or without any particular privacy unit, current evaluations on LLMs mostly treat each example (text record) as the privacy unit. This leads to uneven user privacy guarantees when contributions per user vary. We therefore study user-level DP motivated by applications where it necessary to ensure uniform privacy protection across users. We present a systematic evaluation of user-level DP for LLM fine-tuning on natural language generation tasks. Focusing on two mechanisms for achieving user-level DP guarantees, Group Privacy and User-wise DP-SGD, we investigate design choices like data selection strategies and parameter tuning for the best privacy-utility tradeoff.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなドメインにまたがる複雑なタスクに対処するための強力なツールとして登場したが、暗記の可能性によって機密データに微調整された場合、プライバシー上の懸念も生じている。 ディファレンシャル・プライバシ(DP)は、モデルが特定のプライバシ・ユニットと「ほとんど区別できない」ことを保証することで、有望な解決策を提供する一方で、LLMの現在の評価は、主に各例(テキスト・レコード)をプライバシ・ユニットとして扱う。 これにより、ユーザ毎のコントリビューションが変化すると、不均一なユーザのプライバシが保証される。 そこで本研究では,ユーザ間のプライバシー保護の統一に必要なアプリケーションによって動機付けられたユーザレベルのDPについて検討する。 自然言語生成タスクにおけるLLM微調整のためのユーザレベルDPの体系的評価について述べる。 ユーザレベルのDP保証を実現するための2つのメカニズム,グループプライバシとユーザワイドDP-SGDに着目し,データ選択戦略やパラメータチューニングなどの設計選択について検討する。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
  我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。 我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。 我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-30T16:00:14Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Personalized DP-SGD using Sampling Mechanisms [5.50042037663784]
  Phi$,$Delta$)- Personalized Differential Privacy (($Phi$,$Delta$)- PDP。 提案アルゴリズムは,複数ラウンドのパーソナライズされたサンプリング機構を使用し,DP-SGDイテレーションに組み込む。 実データを用いた実験の結果,提案アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構の単純な組み合わせよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-24T13:56:57Z)
• Have it your way: Individualized Privacy Assignment for DP-SGD [33.758209383275926]
  我々は、すべての点で均一なプライバシー予算を設定することは、一部のユーザーにとって過度に保守的であるか、あるいは他のユーザーにとって十分な保護がないかを論じる。 プライバシー予算の個別化を通じて、これらの選好を捉えます。 これは、プライバシーとユーティリティのトレードオフを実証的に改善する。
  論文  参考訳（メタデータ） (2023-03-29T22:18:47Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Production of Categorical Data Verifying Differential Privacy: Conception and Applications to Machine Learning [0.0]
  差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。 ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。 いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
  論文  参考訳（メタデータ） (2022-04-02T12:50:14Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。