論文の概要: Input Perturbation: A New Paradigm between Central and Local
Differential Privacy
- arxiv url: http://arxiv.org/abs/2002.08570v1
- Date: Thu, 20 Feb 2020 05:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:42:11.403477
- Title: Input Perturbation: A New Paradigm between Central and Local
Differential Privacy
- Title(参考訳): 入力の摂動: 中央と局所の微分プライバシーの新しいパラダイム
- Authors: Yilin Kang, Yong Liu, Ben Niu, Xinyi Tong, Likun Zhang and Weiping
Wang
- Abstract要約: 我々は,DP-ERMにおけるテキスト入力摂動法について検討した。
最終モデルでは差分プライバシー(epsilon$,$delta$)を、オリジナルのデータには何らかのプライバシーを達成しています。
当社の手法は,プライバシ保護の強化を図った従来手法とほぼ同じ(あるいはそれ以上の)パフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 15.943736378291154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditionally, there are two models on differential privacy: the central
model and the local model. The central model focuses on the machine learning
model and the local model focuses on the training data. In this paper, we study
the \textit{input perturbation} method in differentially private empirical risk
minimization (DP-ERM), preserving privacy of the central model. By adding noise
to the original training data and training with the `perturbed data', we
achieve ($\epsilon$,$\delta$)-differential privacy on the final model, along
with some kind of privacy on the original data. We observe that there is an
interesting connection between the local model and the central model: the
perturbation on the original data causes the perturbation on the gradient, and
finally the model parameters. This observation means that our method builds a
bridge between local and central model, protecting the data, the gradient and
the model simultaneously, which is more superior than previous central methods.
Detailed theoretical analysis and experiments show that our method achieves
almost the same (or even better) performance as some of the best previous
central methods with more protections on privacy, which is an attractive
result. Moreover, we extend our method to a more general case: the loss
function satisfies the Polyak-Lojasiewicz condition, which is more general than
strong convexity, the constraint on the loss function in most previous work.
- Abstract(参考訳): 伝統的に、差分プライバシーには中央モデルと局所モデルという2つのモデルがある。
中央モデルは機械学習モデルに焦点を合わせ、ローカルモデルはトレーニングデータに焦点を合わせます。
本稿では,中央モデルのプライバシ保護を目的としたDP-ERMにおけるtextit{input perturbation}法について検討する。
オリジナルのトレーニングデータにノイズを加えて、‘perturbed data’でトレーニングすることで、最終的なモデル上での($\epsilon$,$\delta$)-差分プライバシーと、オリジナルのデータに対するある種のプライバシを達成できます。
我々は、局所モデルと中心モデルの間に興味深い関係があることを観察する: 元のデータに対する摂動が勾配の摂動を引き起こし、最終的にモデルパラメータが引き起こされる。
この観察により,本手法は局所モデルと中央モデルの間に橋を架け,データと勾配とモデルを同時に保護し,従来の中央モデルよりも優れていることを示す。
詳細な理論解析と実験により,提案手法は,プライバシ保護が強化された先行手法とほぼ同じ(あるいはさらに優れた)性能を達成していることが示された。
さらに,本手法をより一般的な場合に拡張する: 損失関数は, 強い凸性よりも一般なpolyak-lojasiewicz条件を満たす。
関連論文リスト
- Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳(メタデータ) (2023-05-23T09:46:54Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Unsupervised Deep Learning Meets Chan-Vese Model [77.24463525356566]
本稿では,Chan-Vese(CV)モデルとディープニューラルネットワークを統合した教師なしのイメージセグメンテーション手法を提案する。
私たちの基本的な考え方は、イメージを潜伏空間にマッピングするディープニューラルネットワークを適用して、画像空間における断片的な定数仮定の違反を軽減することです。
論文 参考訳(メタデータ) (2022-04-14T13:23:57Z) - Contrastive Neighborhood Alignment [81.65103777329874]
本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。
対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。
CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
論文 参考訳(メタデータ) (2022-01-06T04:58:31Z) - Towards Understanding the Impact of Model Size on Differential Private
Classification [18.528062386007328]
一般化の観点から高次元DP学習について検討する。
DPノイズが小さい単純なガウスモデルの場合、次元が十分大きい場合、分類誤差はランダムな推定値と同程度に悪いことが示される。
分類精度とプライバシ保護をトレードオフする新しい指標に基づいて,モデルのサイズを小さくする特徴選択手法を提案する。
論文 参考訳(メタデータ) (2021-11-27T13:34:06Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - PEARL: Data Synthesis via Private Embeddings and Adversarial
Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。
当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。
提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-08T18:00:01Z) - The Limits of Pan Privacy and Shuffle Privacy for Learning and
Estimation [3.2942333712377083]
種々の高次元学習および推定問題に対して,シャッフルモデルとパンプライベートモデルでは,中央モデルと比較してサンプルの複雑さが指数関数的に高くなることを示す。
我々の研究は、パンプライベートモデルと一般的なマルチメッセージシャッフルモデルの両方に対して、これらの問題に対する最初の非自明な下界を与える。
論文 参考訳(メタデータ) (2020-09-17T01:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。