論文の概要: Differentially Private Natural Language Models: Recent Advances and Future Directions

• arxiv url: http://arxiv.org/abs/2301.09112v1
• Date: Sun, 22 Jan 2023 12:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 14:56:25.420935
• Title: Differentially Private Natural Language Models: Recent Advances and Future Directions
• Title（参考訳）: 異なる私的自然言語モデル:最近の進歩と今後の方向性
• Authors: Lijie Hu, Ivan Habernal, Lei Shen and Di Wang
• Abstract要約: 微分プライバシー(DP)は、プライベートデータ分析のデファクト技術になりつつある。 本稿は,NLPにおけるDP深層学習モデルに関する最近の進歩を,初めて体系的に概観するものである。
• 参考スコア（独自算出の注目度）: 16.019514426905904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent developments in deep learning have led to great success in various natural language processing (NLP) tasks. However, these applications may involve data that contain sensitive information. Therefore, how to achieve good performance while also protect privacy of sensitive data is a crucial challenge in NLP. To preserve privacy, Differential Privacy (DP), which can prevent reconstruction attacks and protect against potential side knowledge, is becoming a de facto technique for private data analysis. In recent years, NLP in DP models (DP-NLP) has been studied from different perspectives, which deserves a comprehensive review. In this paper, we provide the first systematic review of recent advances on DP deep learning models in NLP. In particular, we first discuss some differences and additional challenges of DP-NLP compared with the standard DP deep learning. Then we investigate some existing work on DP-NLP and present its recent developments from two aspects: gradient perturbation based methods and embedding vector perturbation based methods. We also discuss some challenges and future directions of this topic.
• Abstract（参考訳）: 近年のディープラーニングは,自然言語処理(NLP)タスクにおいて大きな成功を収めている。 しかし、これらのアプリケーションは機密情報を含むデータを含む可能性がある。 したがって、機密データのプライバシーを保護しながら優れたパフォーマンスを実現することは、NLPにとって重要な課題である。 プライバシーを守るために、復元攻撃を防ぎ、潜在的な側面の知識を保護できる差分プライバシー(DP)は、プライベートデータ分析のデファクト技術になりつつある。 近年,DPモデル(DP-NLP)におけるNLPは,様々な観点から研究されている。 本稿では,NLPにおけるDP深層学習モデルの最近の進歩を,初めて体系的に検討する。 特に,DP-NLP と標準 DP 深層学習の相違点と追加課題について論じる。 そこで我々はDP-NLPに関する既存の研究について検討し、勾配摂動法と埋め込みベクトル摂動法という2つの側面から最近の展開を述べる。 また、このトピックの課題と今後の方向性についても論じる。

関連論文リスト

• Thinking Outside of the Differential Privacy Box: A Case Study in Text Privatization with Language Model Prompting [3.3916160303055567]
  我々は、差別化プライバシ(DP)統合が課す制約について議論するとともに、そのような制限がもたらす課題を明らかにします。 以上の結果から,NLPにおけるDPのユーザビリティと非DPアプローチに対するメリットについて,さらなる議論の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-10-01T14:46:15Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• SoK: Privacy-Preserving Data Synthesis [72.92263073534899]
  本稿では,プライバシ保護データ合成(PPDS)に注目し,その分野の総合的な概要,分析,議論を行う。 PPDSでは,統計的手法と深層学習(DL)に基づく手法の2つの顕著な研究を統一するマスターレシピを作成した。
  論文  参考訳（メタデータ） (2023-07-05T08:29:31Z)
• Uncertainty in Natural Language Processing: Sources, Quantification, and Applications [56.130945359053776]
  NLP分野における不確実性関連作業の総合的なレビューを行う。 まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。 我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2023-06-05T06:46:53Z)
• On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
  これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。 本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
  論文  参考訳（メタデータ） (2022-10-13T11:59:39Z)
• Differential Privacy in Natural Language Processing: The Story So Far [21.844047604993687]
  本稿では,差分プライバシーが抱える脆弱性を要約することを目的とする。 このトピックは、NLPメソッドに差別的プライバシを適用するにはどうすればよいのか、という1つの基本的な目標にまとめられている、新しい研究のきっかけとなった。
  論文  参考訳（メタデータ） (2022-08-17T08:15:44Z)
• How to keep text private? A systematic review of deep learning methods for privacy-preserving natural language processing [0.38073142980732994]
  記事は2016年から2020年にかけて発行されたプライバシー保護NLPに関する60以上の方法を体系的にレビューしている。 本稿では,既存の手法を3つのカテゴリに分類する新しい分類法を提案する。 我々は、データトレーサビリティ、オーバーヘッドデータセットサイズ、埋め込みにおける人間のバイアスの頻度に関するプライバシー保護NLPのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2022-05-20T11:29:44Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• An Empirical Survey of Data Augmentation for Limited Data Learning in NLP [88.65488361532158]
  豊富なデータへの依存は、低リソース設定や新しいタスクにNLPモデルを適用するのを防ぐ。 NLPにおけるデータ効率を改善する手段として,データ拡張手法が検討されている。 限定ラベル付きデータ設定におけるNLPのデータ拡張に関する最近の進展を実証的に調査する。
  論文  参考訳（メタデータ） (2021-06-14T15:27:22Z)
• Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning [0.0]
  本稿では,ディファレンシャルプライバシ(DP)によるトレーニングが,幅広い敵対攻撃に対するモデル脆弱性に与える影響を実験的に評価する。 結果から、プライベートモデルは非プライベートモデルよりも堅牢ではなく、非プライベートモデルとプライベートモデルよりもDPモデル間のトランスファーが優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-05-17T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。