論文の概要: DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing
- arxiv url: http://arxiv.org/abs/2410.16161v1
- Date: Mon, 21 Oct 2024 16:25:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:08.634474
- Title: DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing
- Title（参考訳）: DMM:パッケージ秘密共有を用いた差分生産型フェデレーション学習のための分散行列機構
- Authors: Alexander Bienstock, Ujjwal Kumar, Antigoni Polychroniadou,
- Abstract要約: フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。
FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。
このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
- 参考スコア（独自算出の注目度）: 51.336015600778396
- License:
- Abstract: Federated Learning (FL) has gained lots of traction recently, both in industry and academia. In FL, a machine learning model is trained using data from various end-users arranged in committees across several rounds. Since such data can often be sensitive, a primary challenge in FL is providing privacy while still retaining utility of the model. Differential Privacy (DP) has become the main measure of privacy in the FL setting. DP comes in two flavors: central and local. In the former, a centralized server is trusted to receive the users' raw gradients from a training step, and then perturb their aggregation with some noise before releasing the next version of the model. In the latter (more private) setting, noise is applied on users' local devices, and only the aggregation of users' noisy gradients is revealed even to the server. Great strides have been made in increasing the privacy-utility trade-off in the central DP setting, by utilizing the so-called matrix mechanism. However, progress has been mostly stalled in the local DP setting. In this work, we introduce the distributed matrix mechanism to achieve the best-of-both-worlds; local DP and also better privacy-utility trade-off from the matrix mechanism. We accomplish this by proposing a cryptographic protocol that securely transfers sensitive values across rounds, which makes use of packed secret sharing. This protocol accommodates the dynamic participation of users per training round required by FL, including those that may drop out from the computation. We provide experiments which show that our mechanism indeed significantly improves the privacy-utility trade-off of FL models compared to previous local DP mechanisms, with little added overhead.
- Abstract（参考訳）: フェデレートラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。
FLでは、機械学習モデルは、複数のラウンドで委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。
このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
差分プライバシー(DP)は、FL設定におけるプライバシの主要な指標となっている。
DPには、中央と局所の2つのフレーバーがある。
前者では、集中型サーバは、トレーニングステップからユーザの生の勾配を受信し、次にモデルの次のバージョンをリリースする前に、いくつかのノイズでアグリゲーションを摂動するように信頼されている。
後者の(よりプライベートな)設定では、ユーザのローカルデバイスにノイズが適用される。
中央DP設定におけるプライバシーユーティリティトレードオフの増大には,いわゆるマトリックス機構を活用して大きな努力がなされている。
しかし、地元民党では進歩が停滞している。
そこで本研究では, 分散行列機構を導入し, ローカルDP, および行列機構からのプライバシー・ユーティリティのトレードオフを改善する。
我々は、暗号化プロトコルを提案し、ラウンド間で機密性の高い値をセキュアに転送し、秘密の共有を満載する。
このプロトコルは、FLが必要とするトレーニングラウンド1回あたりのユーザの動的参加を許容する。
我々は,従来のローカルDP機構と比較して,FLモデルのプライバシ・ユーティリティ・トレードオフを大幅に改善し,オーバーヘッドを少なくする実験を行った。
関連論文リスト
- DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。
差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文 参考訳（メタデータ） (2024-05-10T10:10:37Z) - QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。
このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。
本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
論文 参考訳（メタデータ） (2023-12-10T04:44:53Z) - Differentially Private Over-the-Air Federated Learning Over MIMO Fading
Channels [24.534729104570417]
フェデレートラーニング(FL)は、エッジデバイスが機械学習モデルを協調的にトレーニングすることを可能にする。
オーバー・ザ・エアのモデルアグリゲーションは通信効率を向上させるが、無線ネットワーク上のエッジサーバにモデルをアップロードすると、プライバシのリスクが生じる可能性がある。
FLモデルとマルチアンテナサーバとの通信がプライバシー漏洩を増幅することを示す。
論文 参考訳（メタデータ） (2023-06-19T14:44:34Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳（メタデータ） (2023-02-23T18:04:07Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳（メタデータ） (2022-10-16T06:44:46Z) - Hierarchical Federated Learning with Privacy [22.392087447002567]
フェデレーションラーニング(FL)では、フェデレーションされたクライアントにデータが残っており、中央アグリゲータと共有される勾配更新のみをプライベートと仮定した。
近年の研究では、勾配レベルのアクセスを持つ敵が推論および再構成攻撃を成功させる可能性が示されている。
本研究では,このようなトレードオフを階層的FL(HFL)を通じて緩和する第一歩を踏み出す。
論文 参考訳（メタデータ） (2022-06-10T16:10:42Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳（メタデータ） (2020-07-13T18:14:09Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。