論文の概要: Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation

• arxiv url: http://arxiv.org/abs/2407.18789v1
• Date: Fri, 26 Jul 2024 14:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:09:10.246958
• Title: Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation
• Title（参考訳）: テキストに差分プライバシーを適用する場合、グラニュラリティは不可欠:ニューラルマシン翻訳の研究
• Authors: Doan Nam Long Vu, Timour Igamberdiev, Ivan Habernal,
• Abstract要約: 差分プライバシー(DP)は、NLPでますます人気が高まっている。 DPが適用される粒度の選択はしばしば無視される。 以上の結果から, 文書レベルのNMTシステムは, メンバーシップ推論攻撃に対する耐性が高いことが示唆された。
• 参考スコア（独自算出の注目度）: 13.692397169805806
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Applying differential privacy (DP) by means of the DP-SGD algorithm to protect individual data points during training is becoming increasingly popular in NLP. However, the choice of granularity at which DP is applied is often neglected. For example, neural machine translation (NMT) typically operates on the sentence-level granularity. From the perspective of DP, this setup assumes that each sentence belongs to a single person and any two sentences in the training dataset are independent. This assumption is however violated in many real-world NMT datasets, e.g. those including dialogues. For proper application of DP we thus must shift from sentences to entire documents. In this paper, we investigate NMT at both the sentence and document levels, analyzing the privacy/utility trade-off for both scenarios, and evaluating the risks of not using the appropriate privacy granularity in terms of leaking personally identifiable information (PII). Our findings indicate that the document-level NMT system is more resistant to membership inference attacks, emphasizing the significance of using the appropriate granularity when working with DP.
• Abstract（参考訳）: DP-SGDアルゴリズムによる差分プライバシ(DP)の適用により、トレーニング中の個々のデータポイントを保護することが、NLPでますます人気が高まっている。 しかし、DPが適用される粒度の選択はしばしば無視される。 例えば、ニューラルマシン翻訳(NMT)は典型的には文レベルの粒度で動作する。 DPの観点から、この設定は、各文が一人の個人に属し、トレーニングデータセットのどの2つの文も独立していると仮定する。 しかし、この仮定は多くの現実世界のNMTデータセット、例えば対話を含むデータセットでは違反している。 DPの適切な適用には、文から文書全体へ移行する必要があります。 本稿では,NMTを文レベルと文書レベルの両方で検討し,両シナリオのプライバシ/ユーティリティトレードオフを分析し,個人識別情報漏洩の観点から適切なプライバシ粒度を使用しないリスクを評価する(PII)。 文献レベルのNMTは,DPで作業する場合に適切な粒度を用いることの重要性を強調し,メンバシップ推論攻撃に対する耐性が高いことが示唆された。

関連論文リスト

• Thinking Outside of the Differential Privacy Box: A Case Study in Text Privatization with Language Model Prompting [3.3916160303055567]
  我々は、差別化プライバシ(DP)統合が課す制約について議論するとともに、そのような制限がもたらす課題を明らかにします。 以上の結果から,NLPにおけるDPのユーザビリティと非DPアプローチに対するメリットについて,さらなる議論の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-10-01T14:46:15Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Metric Differential Privacy at the User-Level Via the Earth Mover's Distance [34.63551774740707]
  メートル差プライバシー(DP)は、入力のペア間の距離に基づいて不均一なプライバシー保証を提供する。 本稿では,ユーザレベルでのメートル法DPの自然な定義について検討する。 線形クエリとアイテムワイズクエリに応答する2つの新しいメカニズムを$d_textsfEM$-DPで設計する。
  論文  参考訳（メタデータ） (2024-05-04T13:29:11Z)
• Differentially Private Reinforcement Learning with Self-Play [18.124829682487558]
  差分プライバシー制約を伴うマルチエージェント強化学習(multi-agent RL)の問題について検討する。 まず,ジョイントDP (JDP) とローカルDP (LDP) の定義を2プレイヤーゼロサム・エピソード・マルコフゲームに拡張する。 我々は、楽観的なナッシュ値とベルンシュタイン型ボーナスの民営化に基づく証明可能なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-04-11T08:42:51Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Subject Granular Differential Privacy in Federated Learning [2.9439848714137447]
  本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。 我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。 第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
  論文  参考訳（メタデータ） (2022-06-07T23:54:36Z)
• A Privacy-Preserving Subgraph-Level Federated Graph Neural Network via Differential Privacy [23.05377582226823]
  DPベースのフェデレーションGNNであるDP-FedRecを提案する。 DPは、ウェイトだけでなく、PSIからの交差点グラフのエッジにも適用され、クライアントのプライバシを完全に保護する。 DP-FedRecはグラフ拡張によってパフォーマンスが向上し、DPは計算オーバーヘッドが少ないことを実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:14:45Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。