論文の概要: Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness

• arxiv url: http://arxiv.org/abs/2010.01285v1
• Date: Sat, 3 Oct 2020 05:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 09:03:05.645658
• Title: Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness
• Title（参考訳）: NLPのための差分表現:形式的保証とプライバシと公正性に関する実証的研究
• Authors: Lingjuan Lyu, Xuanli He, Yitong Li
• Abstract要約: 深層モデルで学習した隠れ表現が、入力のプライベート情報を符号化できることが示されている。 テキストから抽出した表現のプライバシを保護するために,DPNR(differially Private Neural Representation)を提案する。
• 参考スコア（独自算出の注目度）: 38.90014773292902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been demonstrated that hidden representation learned by a deep model can encode private information of the input, hence can be exploited to recover such information with reasonable accuracy. To address this issue, we propose a novel approach called Differentially Private Neural Representation (DPNR) to preserve the privacy of the extracted representation from text. DPNR utilises Differential Privacy (DP) to provide a formal privacy guarantee. Further, we show that masking words via dropout can further enhance privacy. To maintain utility of the learned representation, we integrate DP-noisy representation into a robust training process to derive a robust target model, which also helps for model fairness over various demographic variables. Experimental results on benchmark datasets under various parameter settings demonstrate that DPNR largely reduces privacy leakage without significantly sacrificing the main task performance.
• Abstract（参考訳）: 深層モデルによって学習された隠れ表現は入力のプライベート情報をエンコードできるため、妥当な精度でそれらの情報を復元することができる。 そこで本研究では,テキストから抽出した表現のプライバシを保護するために,DPNR(differially Private Neural Representation)と呼ばれる新しい手法を提案する。 DPNRは、正式なプライバシー保証を提供するために差分プライバシー(DP)を利用している。 さらに、ドロップアウトで単語をマスキングすることで、プライバシーをさらに強化できることを示す。 学習表現の有用性を維持するために,dp-noisy表現をロバストなトレーニングプロセスに統合し,ロバストなターゲットモデルを導出する。 パラメータ設定によるベンチマークデータセットの実験結果から,DPNRはメインタスクのパフォーマンスを著しく損なうことなく,プライバシリークを大幅に低減することが示された。

関連論文リスト

• Differentially Private Policy Gradient [48.748194765816955]
  本研究では,プライバシノイズと信頼領域サイズとの間の適切なトレードオフを見出すことができ,性能的にプライベートなポリシー勾配アルゴリズムが得られることを示す。 この結果と課題の複雑さは,オンラインRLにおける既存のDPアルゴリズムよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-01-31T12:11:13Z)
• On the Impact of Noise in Differentially Private Text Rewriting [3.0177210416625124]
  そこで本稿では,DPテキストの書き直しにおけるノイズの影響を探索するために,新たな文埋込民営化手法を提案する。 実用性保護において非DP民営化技術が優れていることを実証的に示すとともに,実証的プライバシ保護においてDP手法を上回りつつも,許容可能な実証的プライバシユーティリティトレードオフを見出すことができることを示す。
  論文  参考訳（メタデータ） (2025-01-31T10:45:24Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Probing the Transition to Dataset-Level Privacy in ML Models Using an Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
  差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。 プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T20:39:07Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。