Fugu-MT 論文翻訳(概要): Private Language Models via Truncated Laplacian Mechanism

論文の概要: Private Language Models via Truncated Laplacian Mechanism

arxiv url: http://arxiv.org/abs/2410.08027v1
Date: Thu, 10 Oct 2024 15:25:02 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 05:55:13.952091
Title: Private Language Models via Truncated Laplacian Mechanism
Title（参考訳）: 切り裂かれたラプラシア語メカニズムによる私的言語モデル
Authors: Tianhao Huang, Tao Yang, Ivan Habernal, Lijie Hu, Di Wang,
Abstract要約: 本稿では,高次元トラカート型ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。提案手法は,従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。
参考スコア（独自算出の注目度）: 18.77713904999236
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning models for NLP tasks are prone to variants of privacy attacks. To prevent privacy leakage, researchers have investigated word-level perturbations, relying on the formal guarantees of differential privacy (DP) in the embedding space. However, many existing approaches either achieve unsatisfactory performance in the high privacy regime when using the Laplacian or Gaussian mechanism, or resort to weaker relaxations of DP that are inferior to the canonical DP in terms of privacy strength. This raises the question of whether a new method for private word embedding can be designed to overcome these limitations. In this paper, we propose a novel private embedding method called the high dimensional truncated Laplacian mechanism. Specifically, we introduce a non-trivial extension of the truncated Laplacian mechanism, which was previously only investigated in one-dimensional space cases. Theoretically, we show that our method has a lower variance compared to the previous private word embedding methods. To further validate its effectiveness, we conduct comprehensive experiments on private embedding and downstream tasks using three datasets. Remarkably, even in the high privacy regime, our approach only incurs a slight decrease in utility compared to the non-private scenario.
Abstract（参考訳）: NLPタスクのディープラーニングモデルは、プライバシ攻撃の亜種になりがちである。プライバシーの漏洩を防ぐために、埋め込み空間における差分プライバシー(DP)の正式な保証に頼って、単語レベルの摂動を調査した。しかし、既存の多くのアプローチは、ラプラシアまたはガウスのメカニズムを使用する場合、高いプライバシー体制において不満足なパフォーマンスを達成するか、プライバシーの強さの観点から、標準のDPより劣るDPの緩和を弱めるかのいずれかである。これにより、これらの制限を克服するために、プライベートワード埋め込みの新しい手法が設計できるかどうかという疑問が持ち上がる。本稿では,高次元トランケートラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案する。具体的には, 1次元空間の場合のみにのみ検討された, truncated Laplacian 機構の非自明な拡張を導入する。理論的には,提案手法は従来のプライベート単語埋め込み法に比べて分散度が低いことを示す。その有効性をさらに検証するため、3つのデータセットを用いて、プライベート埋め込みおよび下流タスクに関する包括的な実験を行う。注目すべきは、高いプライバシー体制であっても、私たちのアプローチは、プライベートでないシナリオに比べて、実用性がわずかに低下することです。

関連論文リスト

Minimax Optimal Two-Sample Testing under Local Differential Privacy [3.3317825075368908]
ローカルディファレンシャルプライバシ(LDP)の下でのプライベート2サンプルテストにおけるプライバシと統計ユーティリティのトレードオフについて検討する。本稿では,Laplace,離散Laplace,GoogleのRAPPORなど,実用的なプライバシメカニズムを用いたプライベートな置換テストを紹介する。我々は,ビンニングによる連続データの研究を行い,その一様分離率をH"olderとBesovの滑らか度クラスよりもLDPで検討した。
論文参考訳（メタデータ） (2024-11-13T22:44:25Z)
Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文参考訳（メタデータ） (2024-10-22T15:22:53Z)
Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy [3.8254443661593633]
DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
論文参考訳（メタデータ） (2024-07-05T22:43:32Z)
Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
Gradient Descent (SGD) は機械学習において広く使われているツールである。ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
論文参考訳（メタデータ） (2024-05-21T07:47:21Z)
Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
論文参考訳（メタデータ） (2023-11-04T04:43:47Z)
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文参考訳（メタデータ） (2023-02-19T16:58:53Z)
On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
論文参考訳（メタデータ） (2022-10-05T12:55:53Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文参考訳（メタデータ） (2021-07-04T06:55:45Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
論文参考訳（メタデータ） (2020-06-16T17:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。