論文の概要: SPriFed-OMP: A Differentially Private Federated Learning Algorithm for
Sparse Basis Recovery
- arxiv url: http://arxiv.org/abs/2402.19016v1
- Date: Thu, 29 Feb 2024 10:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 15:27:51.101916
- Title: SPriFed-OMP: A Differentially Private Federated Learning Algorithm for
Sparse Basis Recovery
- Title（参考訳）: SPriFed-OMP:スパース基底回復のための微分プライベートフェデレーション学習アルゴリズム
- Authors: Ajinkya Kiran Mulay, Xiaojun Lin
- Abstract要約: 我々は,SPriFed-OMP と呼ばれるフェデレート学習環境のための,新たな微分プライベートスパースベースリカバリアルゴリズムを開発した。
SPriFed-OMPは、$n = O(sqrtp)$サンプルだけで線形モデルの真のスパース基底を効率的に回収することができる。
- 参考スコア（独自算出の注目度）: 5.705143925225145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse basis recovery is a classical and important statistical learning
problem when the number of model dimensions $p$ is much larger than the number
of samples $n$. However, there has been little work that studies sparse basis
recovery in the Federated Learning (FL) setting, where the client data's
differential privacy (DP) must also be simultaneously protected. In particular,
the performance guarantees of existing DP-FL algorithms (such as DP-SGD) will
degrade significantly when $p \gg n$, and thus, they will fail to learn the
true underlying sparse model accurately. In this work, we develop a new
differentially private sparse basis recovery algorithm for the FL setting,
called SPriFed-OMP. SPriFed-OMP converts OMP (Orthogonal Matching Pursuit) to
the FL setting. Further, it combines SMPC (secure multi-party computation) and
DP to ensure that only a small amount of noise needs to be added in order to
achieve differential privacy. As a result, SPriFed-OMP can efficiently recover
the true sparse basis for a linear model with only $n = O(\sqrt{p})$ samples.
We further present an enhanced version of our approach, SPriFed-OMP-GRAD based
on gradient privatization, that improves the performance of SPriFed-OMP. Our
theoretical analysis and empirical results demonstrate that both SPriFed-OMP
and SPriFed-OMP-GRAD terminate in a small number of steps, and they
significantly outperform the previous state-of-the-art DP-FL solutions in terms
of the accuracy-privacy trade-off.
- Abstract（参考訳）: スパース基底リカバリ(sparse basis recovery)は、モデル次元 $p$ がサンプル数 $n$ よりもはるかに大きい場合の、古典的で重要な統計学習問題である。
しかしながら、クライアントデータの差分プライバシー(DP)を同時に保護しなければならないフェデレートラーニング(FL)設定において、疎基底回復を研究する研究はほとんど行われていない。
特に、既存のDP-FLアルゴリズム(DP-SGDなど)の性能保証は$p \gg n$で大幅に低下し、真のスパースモデルを正確に学習できない。
本研究では,sprifed-omp と呼ばれる fl 設定のための差分分離基底リカバリアルゴリズムを開発した。
SPriFed-OMPはOMP(Orthogonal Matching Pursuit)をFL設定に変換する。
さらに、SMPC(セキュアなマルチパーティ計算)とDPを組み合わせて、差分プライバシーを達成するために少量のノイズを追加する必要があることを保証します。
その結果、SPriFed-OMPは、$n = O(\sqrt{p})$サンプルだけで線形モデルの真のスパース基底を効率的に回収できる。
また,SPriFed-OMP-GRADの改良版であるSPriFed-OMP-GRADを提案し,SPriFed-OMPの性能を向上させる。
理論解析と実験の結果から,sprifed-ompとsprifed-omp-gradはいずれも少数のステップで終了し,精度とプライバシーのトレードオフの観点からは従来のdp-flソリューションを大きく上回ることがわかった。
関連論文リスト
- DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。
FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。
DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。
DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
論文 参考訳（メタデータ） (2024-09-20T16:49:01Z) - DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。
差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文 参考訳（メタデータ） (2024-05-10T10:10:37Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Differentially Private Next-Token Prediction of Large Language Models [13.297381972044558]
差分プライバシーを保証するためにモデルをトレーニングするDP-SGDは、ホワイトボックスがモデルにアクセスできるという敵の能力を過大評価する。
本稿では,次トーケンサンプリングの本質を生かした,次トーケン予測のためのプライベート予測プロトコルPMixEDと,差分プライバシーを実現するための公開モデルを提案する。
その結果,PMixEDはサンプルレベルのプライバシよりも強力なプライバシ保証を実現し,プライバシ$epsilon=8$でDP-SGDを上回っていることがわかった。
論文 参考訳（メタデータ） (2024-03-22T22:27:44Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳（メタデータ） (2021-12-29T07:32:29Z) - RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討
LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。
鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
論文 参考訳（メタデータ） (2021-02-09T16:49:58Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。