Fugu-MT 論文翻訳(概要): FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection

論文の概要: FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection

arxiv url: http://arxiv.org/abs/2003.10637v1
Date: Tue, 24 Mar 2020 03:31:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 08:31:32.838372
Title: FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection
Title（参考訳）: FedSel:Federated SGD: ローカルな差別的プライバシーとトップk次元の選択
Authors: Ruixuan Liu, Yang Cao, Masatoshi Yoshikawa, Hong Chen
Abstract要約: 本研究では,LDP下でのフェデレーションSGDのための2段階フレームワークFedSelを提案する。具体的には,3つの私的次元選択機構を提案し,蓄積手法を適用し,ノイズのある更新で学習プロセスを安定化させる。また、FedSelのプライバシー、正確性、時間的複雑さも理論的に分析し、最先端のソリューションよりも優れています。
参考スコア（独自算出の注目度）: 26.54574385850849
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As massive data are produced from small gadgets, federated learning on mobile devices has become an emerging trend. In the federated setting, Stochastic Gradient Descent (SGD) has been widely used in federated learning for various machine learning models. To prevent privacy leakages from gradients that are calculated on users' sensitive data, local differential privacy (LDP) has been considered as a privacy guarantee in federated SGD recently. However, the existing solutions have a dimension dependency problem: the injected noise is substantially proportional to the dimension $d$. In this work, we propose a two-stage framework FedSel for federated SGD under LDP to relieve this problem. Our key idea is that not all dimensions are equally important so that we privately select Top-k dimensions according to their contributions in each iteration of federated SGD. Specifically, we propose three private dimension selection mechanisms and adapt the gradient accumulation technique to stabilize the learning process with noisy updates. We also theoretically analyze privacy, accuracy and time complexity of FedSel, which outperforms the state-of-the-art solutions. Experiments on real-world and synthetic datasets verify the effectiveness and efficiency of our framework.
Abstract（参考訳）: 小さなガジェットから大量のデータが生成される中、モバイルデバイス上でのフェデレーション学習がトレンドになりつつある。フェデレート環境では、SGD(Stochastic Gradient Descent)は様々な機械学習モデルのためのフェデレーション学習に広く使われている。ユーザのセンシティブなデータに基づいて計算される勾配からのプライバシー漏洩を防止するため、最近、ローカルディファレンシャルプライバシ(LDP)がフェデレーション付きSGDのプライバシ保証として検討されている。しかし、既存の解には次元依存性の問題があり、注入されたノイズは次元 $d$ にほぼ比例する。本稿では,この問題を解消するため, LDP 下でのフェデレーション SGD のための2段階フレームワーク FedSel を提案する。私たちのキーとなる考え方は、すべての次元が等しく重要であるわけではないので、連邦化されたSGDの各イテレーションにおける貢献に応じてTop-k次元をプライベートに選択します。具体的には,3つのプライベート次元選択機構を提案し,グラデーション累積法を適用して,ノイズの少ない学習プロセスを安定化する。また,feselのプライバシ,正確性,時間的複雑性についても理論的に解析した。実世界および合成データセットの実験は、我々のフレームワークの有効性と効率を検証する。

関連論文リスト

DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文参考訳（メタデータ） (2024-10-21T16:25:14Z)
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文参考訳（メタデータ） (2024-05-10T10:10:37Z)
Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文参考訳（メタデータ） (2024-03-07T21:22:07Z)
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文参考訳（メタデータ） (2024-02-10T17:39:34Z)
Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection [11.167661320589488]
実世界の金融異常検出シナリオでは、データは垂直と水平の両方に分割される。我々のソリューションは、完全同型暗号化(HE)、セキュアマルチパーティ計算(SMPC)、微分プライバシー(DP)を組み合わせる。私たちのソリューションは、米国プライバシ・エンハンシング・テクノロジーズ(PET)賞チャレンジの第1フェーズで2位を獲得しました。
論文参考訳（メタデータ） (2023-10-30T06:51:33Z)
FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文参考訳（メタデータ） (2023-02-02T12:56:46Z)
Privacy-Preserving Federated Learning via System Immersion and Random Matrix Encryption [4.258856853258348]
フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。本稿では,制御理論からの行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。提案アルゴリズムは,クライアントのデータに関する情報を公開せずに,標準FLと同等の精度と収束率を無視できるコストで提供することを示す。
論文参考訳（メタデータ） (2022-04-05T21:28:59Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Voting-based Approaches For Differentially Private Federated Learning [87.2255217230752]
この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
論文参考訳（メタデータ） (2020-10-09T23:55:19Z)
LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。それまでの作業は3つの問題により現実的な解決には至らなかった。最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文参考訳（メタデータ） (2020-07-31T01:08:57Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。