論文の概要: SPriFed-OMP: A Differentially Private Federated Learning Algorithm for
Sparse Basis Recovery
- arxiv url: http://arxiv.org/abs/2402.19016v1
- Date: Thu, 29 Feb 2024 10:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 15:27:51.101916
- Title: SPriFed-OMP: A Differentially Private Federated Learning Algorithm for
Sparse Basis Recovery
- Title(参考訳): SPriFed-OMP:スパース基底回復のための微分プライベートフェデレーション学習アルゴリズム
- Authors: Ajinkya Kiran Mulay, Xiaojun Lin
- Abstract要約: 我々は,SPriFed-OMP と呼ばれるフェデレート学習環境のための,新たな微分プライベートスパースベースリカバリアルゴリズムを開発した。
SPriFed-OMPは、$n = O(sqrtp)$サンプルだけで線形モデルの真のスパース基底を効率的に回収することができる。
- 参考スコア(独自算出の注目度): 5.705143925225145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse basis recovery is a classical and important statistical learning
problem when the number of model dimensions $p$ is much larger than the number
of samples $n$. However, there has been little work that studies sparse basis
recovery in the Federated Learning (FL) setting, where the client data's
differential privacy (DP) must also be simultaneously protected. In particular,
the performance guarantees of existing DP-FL algorithms (such as DP-SGD) will
degrade significantly when $p \gg n$, and thus, they will fail to learn the
true underlying sparse model accurately. In this work, we develop a new
differentially private sparse basis recovery algorithm for the FL setting,
called SPriFed-OMP. SPriFed-OMP converts OMP (Orthogonal Matching Pursuit) to
the FL setting. Further, it combines SMPC (secure multi-party computation) and
DP to ensure that only a small amount of noise needs to be added in order to
achieve differential privacy. As a result, SPriFed-OMP can efficiently recover
the true sparse basis for a linear model with only $n = O(\sqrt{p})$ samples.
We further present an enhanced version of our approach, SPriFed-OMP-GRAD based
on gradient privatization, that improves the performance of SPriFed-OMP. Our
theoretical analysis and empirical results demonstrate that both SPriFed-OMP
and SPriFed-OMP-GRAD terminate in a small number of steps, and they
significantly outperform the previous state-of-the-art DP-FL solutions in terms
of the accuracy-privacy trade-off.
- Abstract(参考訳): スパース基底リカバリ(sparse basis recovery)は、モデル次元 $p$ がサンプル数 $n$ よりもはるかに大きい場合の、古典的で重要な統計学習問題である。
しかしながら、クライアントデータの差分プライバシー(DP)を同時に保護しなければならないフェデレートラーニング(FL)設定において、疎基底回復を研究する研究はほとんど行われていない。
特に、既存のDP-FLアルゴリズム(DP-SGDなど)の性能保証は$p \gg n$で大幅に低下し、真のスパースモデルを正確に学習できない。
本研究では,sprifed-omp と呼ばれる fl 設定のための差分分離基底リカバリアルゴリズムを開発した。
SPriFed-OMPはOMP(Orthogonal Matching Pursuit)をFL設定に変換する。
さらに、SMPC(セキュアなマルチパーティ計算)とDPを組み合わせて、差分プライバシーを達成するために少量のノイズを追加する必要があることを保証します。
その結果、SPriFed-OMPは、$n = O(\sqrt{p})$サンプルだけで線形モデルの真のスパース基底を効率的に回収できる。
また,SPriFed-OMP-GRADの改良版であるSPriFed-OMP-GRADを提案し,SPriFed-OMPの性能を向上させる。
理論解析と実験の結果から,sprifed-ompとsprifed-omp-gradはいずれも少数のステップで終了し,精度とプライバシーのトレードオフの観点からは従来のdp-flソリューションを大きく上回ることがわかった。
関連論文リスト
- Differential Privacy with Random Projections and Sign Random Projections [37.6593006747285]
iDP-SignRPは個人差分プライバシ設定(iDP)において極めて効果的である
DP-SignOPORPは、標準のDP設定の下で既存のアルゴリズムを大幅に改善する。
論文 参考訳(メタデータ) (2023-05-22T16:33:23Z) - Private, Efficient, and Accurate: Protecting Models Trained by
Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。
TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。
PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文 参考訳(メタデータ) (2022-08-18T06:48:25Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Federated Learning with Sparsified Model Perturbation: Improving
Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。
トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。
差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。
本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文 参考訳(メタデータ) (2022-02-15T04:05:42Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳(メタデータ) (2021-12-29T07:32:29Z) - Towards Sample-Optimal Compressive Phase Retrieval with Sparse and
Generative Priors [59.33977545294148]
O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。
この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
論文 参考訳(メタデータ) (2021-06-29T12:49:54Z) - RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討
LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。
鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
論文 参考訳(メタデータ) (2021-02-09T16:49:58Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。