論文の概要: User-Entity Differential Privacy in Learning Natural Language Models

• arxiv url: http://arxiv.org/abs/2211.01141v1
• Date: Tue, 1 Nov 2022 16:54:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:44:12.973172
• Title: User-Entity Differential Privacy in Learning Natural Language Models
• Title（参考訳）: 自然言語モデル学習におけるユーザエンティティ差分プライバシー
• Authors: Phung Lai, NhatHai Phan, Tong Sun, Rajiv Jain, Franck Dernoncourt, Jiuxiang Gu, Nikolaos Barmpalios
• Abstract要約: 自然言語モデル(NLM)の学習において,テキストデータにおけるセンシティブなエンティティとデータ所有者の両方に対して,形式的なプライバシ保護を実現するために,UeDP(User-entity differential privacy)という新しい概念を導入する。 UeDPを保存するためにUeDP-Algと呼ばれる新しいアルゴリズムを開発し、ユーザとセンシティブなエンティティサンプリングプロセスをシームレスに組み合わせることで、密接な境界感度でプライバシ損失とモデルユーティリティのトレードオフを最適化した。 我々のUeDP-Algは、ベンチマークデータセットを用いて、複数のNLMタスクにおいて、同一のプライバシ予算消費の下でモデルユーティリティのベースラインアプローチより優れていることを示す理論分析と評価を行った。
• 参考スコア（独自算出の注目度）: 46.177052564590646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel concept of user-entity differential privacy (UeDP) to provide formal privacy protection simultaneously to both sensitive entities in textual data and data owners in learning natural language models (NLMs). To preserve UeDP, we developed a novel algorithm, called UeDP-Alg, optimizing the trade-off between privacy loss and model utility with a tight sensitivity bound derived from seamlessly combining user and sensitive entity sampling processes. An extensive theoretical analysis and evaluation show that our UeDP-Alg outperforms baseline approaches in model utility under the same privacy budget consumption on several NLM tasks, using benchmark datasets.
• Abstract（参考訳）: 本稿では,テキストデータにおけるセンシティブなエンティティと自然言語モデル(NLM)学習におけるデータ所有者の両方に対して,形式的なプライバシ保護を実現するために,UeDPという新しい概念を導入する。 uedpを保存するために,ユーザとセンシティブなエンティティサンプリングプロセスをシームレスに組み合わせることによって,プライバシ損失とモデルユーティリティとのトレードオフを最適化する,新しいアルゴリズム uedp-alg を開発した。 UeDP-Algは,複数のNLMタスクにおいて,同一のプライバシ予算消費下でのモデルユーティリティのベースラインアプローチよりも優れていることを示す。

関連論文リスト

• Advancing Personalized Federated Learning: Integrative Approaches with AI for Enhanced Privacy and Customization [0.0]
  本稿では,最先端AI技術を用いてPFLを強化する新しい手法を提案する。 本稿では、個々のクライアントモデルの性能を高め、堅牢なプライバシ保護機構を保証するモデルを提案する。 この研究は、真のパーソナライズされたプライバシを重視したAIシステムの新たな時代への道を開くものだ。
  論文  参考訳（メタデータ） (2025-01-30T07:03:29Z)
• SafeSynthDP: Leveraging Large Language Models for Privacy-Preserving Synthetic Data Generation Using Differential Privacy [0.0]
  差分プライバシー(DP)機構を用いた合成データセットを生成するための大規模言語モデル(Ms)の能力について検討する。 提案手法では,ラプラス分布やガウス分布を含むDPベースのノイズ注入法をデータ生成プロセスに組み込む。 次に、これらのDP強化合成データセットの有用性を、トレーニングされたMLモデルの性能と、元のデータでトレーニングされたモデルとを比較して評価する。
  論文  参考訳（メタデータ） (2024-12-30T01:10:10Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• DPGOMI: Differentially Private Data Publishing with Gaussian Optimized Model Inversion [8.204115285718437]
  本稿では,ガウス最適化モデルインバージョン(DPGOMI)を用いた微分プライベートデータパブリッシングを提案し,この問題に対処する。 提案手法では, パブリックジェネレータを用いてプライベートデータを潜時空間にマッピングし, コンバージェンス特性が向上した低次元DP-GANを用いる。 以上の結果から,DPGOMIは,インセプションスコア,Freche't Inception Distance,分類性能において,標準DP-GAN法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-06T18:46:22Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。