論文の概要: Differentially Private n-gram Extraction
- arxiv url: http://arxiv.org/abs/2108.02831v1
- Date: Thu, 5 Aug 2021 19:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 01:56:12.026830
- Title: Differentially Private n-gram Extraction
- Title(参考訳): 微分プライベートn-gram抽出
- Authors: Kunho Kim, Sivakanth Gopi, Janardhan Kulkarni and Sergey Yekhanin
- Abstract要約: 差分プライバシー設定における$n$-gram抽出の問題を再考する。
この問題では、プライベートテキストデータのコーパスを前提として、ユーザレベルのプライバシを維持しながら、可能な限り多くの$n-gramをリリースすることが目標である。
我々はこの問題に対する新たな微分プライベートなアルゴリズムを開発し、このアルゴリズムは我々の実験で最先端のアルゴリズムを著しく上回っている。
- 参考スコア(独自算出の注目度): 19.401898070938593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit the problem of $n$-gram extraction in the differential privacy
setting. In this problem, given a corpus of private text data, the goal is to
release as many $n$-grams as possible while preserving user level privacy.
Extracting $n$-grams is a fundamental subroutine in many NLP applications such
as sentence completion, response generation for emails etc. The problem also
arises in other applications such as sequence mining, and is a generalization
of recently studied differentially private set union (DPSU). In this paper, we
develop a new differentially private algorithm for this problem which, in our
experiments, significantly outperforms the state-of-the-art. Our improvements
stem from combining recent advances in DPSU, privacy accounting, and new
heuristics for pruning in the tree-based approach initiated by Chen et al.
(2012).
- Abstract(参考訳): 差分プライバシー設定において、n$-gram抽出の問題を再検討する。
この問題では、プライベートテキストデータのコーパスが与えられた場合、ユーザレベルのプライバシを維持しながら、できるだけ多くのn$-gramをリリースすることが目標です。
n$-gramsを抽出することは、文補完や電子メールの応答生成など、多くのNLPアプリケーションにおいて基本的なサブルーチンである。
この問題は、シーケンスマイニングのような他の応用でも起こり、最近研究された微分プライベート集合連合(dpsu)の一般化である。
本稿では,この問題に対する微分プライベートな新しいアルゴリズムを開発し,実験において最先端のアルゴリズムよりも優れることを示す。
我々の改善は、最近のDPSUの進歩、プライバシー会計、そしてChenらによって始められたツリーベースのアプローチで刈り取るための新しいヒューリスティックスを組み合わせることに起因する。
(2012).
関連論文リスト
- Privacy Profiles for Private Selection [21.162924003105484]
私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。
このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
論文 参考訳(メタデータ) (2024-02-09T08:31:46Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - User-Level Differential Privacy With Few Examples Per User [73.81862394073308]
サンプルスカース方式では,各ユーザが少数のサンプルしか持たないため,以下の結果が得られる。
近似DPについては,任意の項目レベルDPアルゴリズムをユーザレベルDPアルゴリズムに汎用変換する。
ユーザレベル設定に指数的機構(McSherry, Talwar FOCS 2007)を適用するための簡単な手法を提案する。
論文 参考訳(メタデータ) (2023-09-21T21:51:55Z) - The Challenge of Differentially Private Screening Rules [32.18582226044492]
線形回帰とロジスティック回帰のための最初の微分プライベートスクリーニングルールを開発する。
そこで我々は,プライバシーを確保するために付加されるノイズの量によって,有用なプライベートスクリーニングルールを策定する作業の難しさを発見する。
論文 参考訳(メタデータ) (2023-03-18T01:45:34Z) - Smooth Anonymity for Sparse Binary Matrices [84.60886611165573]
この作業では、スパースデータセット全体を第三者とプライベートに操作し、共有することを目的としています。
実際、差分プライバシーは、プライバシの金の標準として現れていますが、スパースデータセットの共有に関しては、主要な結果の1つとして、偏微分プライベートメカニズムが極めて弱いプライバシ保証を持つ運命にあることを証明しています。
我々は、スムーズな$k$匿名性を示し、スムーズな$k$匿名性を提供する単純なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-07-13T17:09:25Z) - Individual Privacy Accounting for Differentially Private Stochastic
Gradient Descent [73.2635854205537]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Improved Regret for Differentially Private Exploration in Linear MDP [31.567811502343552]
医療記録などのセンシティブなデータに依存する環境におけるシーケンシャルな意思決定におけるプライバシ保護探索について検討する。
我々は、エピソード数に対して$O(sqrtK)$を最適に依存した、改善された後悔率を持つプライベートアルゴリズムを提供する。
論文 参考訳(メタデータ) (2022-02-02T21:32:09Z) - Optimal Rates of (Locally) Differentially Private Heavy-tailed
Multi-Armed Bandits [11.419534203345187]
本稿では,DP/LDPモデルにおけるマルチアームバンディット(MAB)の問題について検討する。
本稿では,SEアルゴリズムの局所的プライベートかつロバストなバージョンとみなすアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-04T16:17:21Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳(メタデータ) (2020-12-23T17:07:26Z) - BUDS: Balancing Utility and Differential Privacy by Shuffling [3.618133010429131]
シャッフルやtextitBUDS によるユーティリティと差分プライバシーのバランスをとることは、クラウドソースの統計データベースへのアプローチである。
損失推定法とリスク最小化法を併用したワンホット符号化と反復シャッフル法により,新しいアルゴリズムを提案する。
バランスのとれたユーティリティとプライバシの実証テストの間、BUDSは$epsilon = 0.02$を生成します。
論文 参考訳(メタデータ) (2020-06-07T11:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。