Fugu-MT 論文翻訳(概要): LDPKiT: Recovering Utility in LDP Schemes by Training with Noise^2

論文の概要: LDPKiT: Recovering Utility in LDP Schemes by Training with Noise^2

arxiv url: http://arxiv.org/abs/2405.16361v1
Date: Sat, 25 May 2024 21:53:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 21:47:39.499835
Title: LDPKiT: Recovering Utility in LDP Schemes by Training with Noise^2
Title（参考訳）: LDPKiT:騒音による学習によるLDPスキームの実用性回復(第2報)
Authors: Kexin Li, Yang Xi, Aastha Mehta, David Lie,
Abstract要約: LDPKiTは,知識伝達による地域差分とユーティリティ保存推論の略である。 CIFAR-10, Fashion-MNIST, SVHN, CARER NLPデータセットを用いた実験により, LDPKiTはプライバシーを損なうことなく実用性を向上させることができることを示した。
参考スコア（独自算出の注目度）: 7.879470113673807
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The adoption of large cloud-based models for inference has been hampered by concerns about the privacy leakage of end-user data. One method to mitigate this leakage is to add local differentially private noise to queries before sending them to the cloud, but this degrades utility as a side effect. Our key insight is that knowledge available in the noisy labels returned from performing inference on noisy inputs can be aggregated and used to recover the correct labels. We implement this insight in LDPKiT, which stands for Local Differentially-Private and Utility-Preserving Inference via Knowledge Transfer. LDPKiT uses the noisy labels returned from querying a set of noised inputs to train a local model (noise^2), which is then used to perform inference on the original set of inputs. Our experiments on CIFAR-10, Fashion-MNIST, SVHN, and CARER NLP datasets demonstrate that LDPKiT can improve utility without compromising privacy. For instance, on CIFAR-10, compared to a standard $\epsilon$-LDP scheme with $\epsilon=15$, which provides a weak privacy guarantee, LDPKiT can achieve nearly the same accuracy (within 1% drop) with $\epsilon=7$, offering an enhanced privacy guarantee. Moreover, the benefits of using LDPKiT increase at higher, more privacy-protective noise levels. For Fashion-MNIST and CARER, LDPKiT's accuracy on the sensitive dataset with $\epsilon=7$ not only exceeds the average accuracy of the standard $\epsilon$-LDP scheme with $\epsilon=7$ by roughly 20% and 9% but also outperforms the standard $\epsilon$-LDP scheme with $\epsilon=15$, a scenario with less noise and minimal privacy protection. We also perform Zest distance measurements to demonstrate that the type of distillation performed by LDPKiT is different from a model extraction attack.
Abstract（参考訳）: 大規模クラウドベースの推論モデルの採用は、エンドユーザデータのプライバシー漏洩に関する懸念から妨げられている。このリークを緩和する1つの方法は、クラウドに送信する前にクエリに局所的に微分プライベートノイズを追加することだが、副作用として実用性は低下する。我々の重要な洞察は、ノイズの入力に対する推論から返されるノイズのラベルから得られる知識を集約し、正しいラベルを復元できるということである。この知見は,LDPKiTにおいて実装されている。 LDPKiTは、ノイズ入力の集合をクエリして返されるノイズラベルを使用して、ローカルモデル(ノイズ^2)をトレーニングし、元の入力セットの推論に使用される。 CIFAR-10, Fashion-MNIST, SVHN, CARER NLPデータセットを用いた実験により, LDPKiTはプライバシーを損なうことなく実用性を向上させることができることを示した。例えば、CIFAR-10では、標準の$\epsilon$-LDPスキームが$\epsilon=15$で、プライバシー保証が弱いのに対して、LDPKiTは$\epsilon=7$でほぼ同じ精度(1%の低下で)を達成でき、プライバシー保証が強化されている。さらに、LDPKiTを使用することの利点は、より高いプライバシー保護ノイズレベルにおいて増加する。 Fashion-MNISTとCARERにとって、LDPKiTの精度は、$\epsilon=7$が標準の$\epsilon$-LDPスキームの平均精度を超えるだけでなく、$\epsilon=7$が約20%、9%、標準の$\epsilon$-LDPスキームが$\epsilon=15$を上回る。また, LDPKiTによる蒸留の種類がモデル抽出攻撃と異なることを示すため, Zest 距離測定を行った。

関連論文リスト

Differentially Private Best-Arm Identification [14.916947598339988]
ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
論文参考訳（メタデータ） (2024-06-10T16:02:48Z)
Private Fine-tuning of Large Language Models with Zeroth-order Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。 DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文参考訳（メタデータ） (2024-01-09T03:53:59Z)
A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。 shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
論文参考訳（メタデータ） (2023-12-22T02:31:46Z)
S-GBDT: Frugal Differentially Private Gradient Boosting Decision Trees [1.5667026626591396]
勾配向上決定木(GBDT)のプライバシー保護学習は、強力なユーティリティプライバシトレードオフの可能性を秘めている。差分プライベートなGBDT学習者を導入し,ユーティリティプライバシトレードオフを改善するために4つの主要な手法を利用する。
論文参考訳（メタデータ） (2023-09-21T13:09:10Z)
TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文参考訳（メタデータ） (2022-10-07T08:44:35Z)
Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文参考訳（メタデータ） (2022-06-06T13:49:37Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文参考訳（メタデータ） (2021-02-23T18:25:13Z)
Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
論文参考訳（メタデータ） (2020-07-22T16:33:14Z)
BUDS: Balancing Utility and Differential Privacy by Shuffling [3.618133010429131]
シャッフルやtextitBUDS によるユーティリティと差分プライバシーのバランスをとることは、クラウドソースの統計データベースへのアプローチである。損失推定法とリスク最小化法を併用したワンホット符号化と反復シャッフル法により,新しいアルゴリズムを提案する。バランスのとれたユーティリティとプライバシの実証テストの間、BUDSは$epsilon = 0.02$を生成します。
論文参考訳（メタデータ） (2020-06-07T11:39:13Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。