論文の概要: N-grams Bayesian Differential Privacy

• arxiv url: http://arxiv.org/abs/2101.12736v1
• Date: Fri, 29 Jan 2021 18:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 12:53:10.689454
• Title: N-grams Bayesian Differential Privacy
• Title（参考訳）: N-grams ベイズ微分プライバシー
• Authors: Osman Ramadan, James Withers, Douglas Orr
• Abstract要約: ベイズ方式では,プライバシ損失の指標であるepsilonに厳密な制限を与えるために,公開データを事前設定として使用する差分プライバシー機構を提案する。 それまで知られていたエプシロンの機構が0.1に等しいのに対し、KLの発散は最大85%減少する。 我々は、n-gram言語モデリングタスクにおけるk-匿名性と比較し、大きな語彙サイズで競合性能を提供することを示す。
• 参考スコア（独自算出の注目度）: 1.3443690690260939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy has gained popularity in machine learning as a strong privacy guarantee, in contrast to privacy mitigation techniques such as k-anonymity. However, applying differential privacy to n-gram counts significantly degrades the utility of derived language models due to their large vocabularies. We propose a differential privacy mechanism that uses public data as a prior in a Bayesian setup to provide tighter bounds on the privacy loss metric epsilon, and thus better privacy-utility trade-offs. It first transforms the counts to log space, approximating the distribution of the public and private data as Gaussian. The posterior distribution is then evaluated and softmax is applied to produce a probability distribution. This technique achieves up to 85% reduction in KL divergence compared to previously known mechanisms at epsilon equals 0.1. We compare our mechanism to k-anonymity in a n-gram language modelling task and show that it offers competitive performance at large vocabulary sizes, while also providing superior privacy protection.
• Abstract（参考訳）: 異なるプライバシーは、k匿名性のようなプライバシー緩和技術とは対照的に、強力なプライバシー保証として機械学習で人気を得ています。 しかし、n-gramに差分プライバシーを適用すると、大きな語彙のために派生言語モデルの実用性が著しく低下する。 ベイズ方式では,プライバシ損失指標のエプシロンに厳密な制約を与えるために,公開データを事前設定として使用する差分プライバシー機構を提案する。 まず、カウントをログスペースに変換し、公共およびプライベートデータの分布をガウスとして近似します。 その後、後方分布を評価し、ソフトマックスを適用して確率分布を生成する。 この技術は、これまでのエプシロンのメカニズムと比較して最大85%のKL発散を0.1に減少させる。 我々は、n-gram言語モデリングタスクにおけるk-匿名性と比較し、大きな語彙サイズで競合性能を提供すると同時に、優れたプライバシー保護を提供することを示す。

関連論文リスト

• Private Language Models via Truncated Laplacian Mechanism [18.77713904999236]
  本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。 提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。 注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
  論文  参考訳（メタデータ） (2024-10-10T15:25:02Z)
• Enhanced Privacy Bound for Shuffle Model with Personalized Privacy [32.08637708405314]
  Differential Privacy(DP)は、ローカルユーザと中央データキュレーターの間の中間信頼サーバを導入する、強化されたプライバシプロトコルである。 これは、局所的にランダム化されたデータを匿名化しシャッフルすることで、中央のDP保証を著しく増幅する。 この研究は、各ユーザーごとにパーソナライズされたローカルプライバシを必要とする、より実践的な設定のために、中央のプライバシ境界を導出することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-25T16:11:56Z)
• Private prediction for large-scale synthetic text generation [28.488459921169905]
  大規模言語モデル(LLM)を用いた微分プライベートテキスト生成手法を提案する。 プライベートな予測フレームワークでは、差分プライバシー保証を満たすために出力された合成データのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-16T18:28:40Z)
• Optimal Private Discrete Distribution Estimation with One-bit Communication [63.413106413939836]
  1ビット通信制約を伴う個別分布推定問題を考える。 1ビット通信制約下での最悪のトレードオフの1次を特徴付ける。 これらの結果は,1ビット通信制約下でのプライバシユーティリティトレードオフの最適依存性を示す。
  論文  参考訳（メタデータ） (2023-10-17T05:21:19Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Distribution-Invariant Differential Privacy [4.700764053354502]
  本研究では,高い統計的精度と厳密な差分プライバシーを両立する分布不変民営化法(DIP)を提案する。 同じ厳密なプライバシー保護の下で、DIPは2つのシミュレーションと3つの実世界のベンチマークで優れた統計的精度を達成する。
  論文  参考訳（メタデータ） (2021-11-08T22:26:50Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。