論文の概要: Private Language Models via Truncated Laplacian Mechanism

• arxiv url: http://arxiv.org/abs/2410.08027v1
• Date: Thu, 10 Oct 2024 15:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:55:13.952091
• Title: Private Language Models via Truncated Laplacian Mechanism
• Title（参考訳）: 切り裂かれたラプラシア語メカニズムによる私的言語モデル
• Authors: Tianhao Huang, Tao Yang, Ivan Habernal, Lijie Hu, Di Wang,
• Abstract要約: 本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。 提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。 注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
• 参考スコア（独自算出の注目度）: 18.77713904999236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models for NLP tasks are prone to variants of privacy attacks. To prevent privacy leakage, researchers have investigated word-level perturbations, relying on the formal guarantees of differential privacy (DP) in the embedding space. However, many existing approaches either achieve unsatisfactory performance in the high privacy regime when using the Laplacian or Gaussian mechanism, or resort to weaker relaxations of DP that are inferior to the canonical DP in terms of privacy strength. This raises the question of whether a new method for private word embedding can be designed to overcome these limitations. In this paper, we propose a novel private embedding method called the high dimensional truncated Laplacian mechanism. Specifically, we introduce a non-trivial extension of the truncated Laplacian mechanism, which was previously only investigated in one-dimensional space cases. Theoretically, we show that our method has a lower variance compared to the previous private word embedding methods. To further validate its effectiveness, we conduct comprehensive experiments on private embedding and downstream tasks using three datasets. Remarkably, even in the high privacy regime, our approach only incurs a slight decrease in utility compared to the non-private scenario.
• Abstract（参考訳）: NLPタスクのディープラーニングモデルは、プライバシ攻撃の亜種になりがちである。 プライバシーの漏洩を防ぐために、埋め込み空間における差分プライバシー(DP)の正式な保証に頼って、単語レベルの摂動を調査した。 しかし、既存の多くのアプローチは、ラプラシアまたはガウスのメカニズムを使用する場合、高いプライバシー体制において不満足なパフォーマンスを達成するか、プライバシーの強さの観点から、標準のDPより劣るDPの緩和を弱めるかのいずれかである。 これにより、これらの制限を克服するために、プライベートワード埋め込みの新しい手法が設計できるかどうかという疑問が持ち上がる。 本稿では,高次元トランケートラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。 具体的には, 1次元空間の場合のみにのみ検討された, truncated Laplacian 機構の非自明な拡張を導入する。 理論的には,提案手法は従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。 その有効性をさらに検証するため、3つのデータセットを用いて、プライベート埋め込みおよび下流タスクに関する包括的な実験を行う。 注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。

関連論文リスト

• Meeting Utility Constraints in Differential Privacy: A Privacy-Boosting Approach [7.970280110429423]
  本稿では,ほとんどのノイズ付加型DP機構と互換性のあるプライバシブースティングフレームワークを提案する。 私たちのフレームワークは、ユーティリティ要件を満たすために、サポートの望ましいサブセットに出力が落ちる可能性を高める。 提案手法は,実用性制約下での標準DP機構よりも低いプライバシー損失を実現する。
  論文  参考訳（メタデータ） (2024-12-13T23:34:30Z)
• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Minimax Optimal Two-Sample Testing under Local Differential Privacy [3.3317825075368908]
  ローカルディファレンシャルプライバシ(LDP)の下でのプライベート2サンプルテストにおけるプライバシと統計ユーティリティのトレードオフについて検討する。 本稿では,Laplace,離散Laplace,GoogleのRAPPORなど,実用的なプライバシメカニズムを用いたプライベートな置換テストを紹介する。 我々は,ビンニングによる連続データの研究を行い,その一様分離率をH"olderとBesovの滑らか度クラスよりもLDPで検討した。
  論文  参考訳（メタデータ） (2024-11-13T22:44:25Z)
• Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
  Gradient Descent (SGD) は機械学習において広く使われているツールである。 ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。 本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-05-21T07:47:21Z)
• Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
  差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。 既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。 本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
  論文  参考訳（メタデータ） (2023-11-04T04:43:47Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
  差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。 本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。 このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
  論文  参考訳（メタデータ） (2020-06-16T17:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。