論文の概要: Randomized Quantization is All You Need for Differential Privacy in
Federated Learning
- arxiv url: http://arxiv.org/abs/2306.11913v1
- Date: Tue, 20 Jun 2023 21:54:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 15:37:26.324380
- Title: Randomized Quantization is All You Need for Differential Privacy in
Federated Learning
- Title（参考訳）: ランダム化量子化は、フェデレーション学習における差分プライバシーに必要なもの
- Authors: Yeojoon Youn, Zihao Hu, Juba Ziani, Jacob Abernethy
- Abstract要約: 量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。
我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。
アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
- 参考スコア（独自算出の注目度）: 1.9785872350085876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a common and practical framework for learning a
machine model in a decentralized fashion. A primary motivation behind this
decentralized approach is data privacy, ensuring that the learner never sees
the data of each local source itself. Federated learning then comes with two
majors challenges: one is handling potentially complex model updates between a
server and a large number of data sources; the other is that de-centralization
may, in fact, be insufficient for privacy, as the local updates themselves can
reveal information about the sources' data. To address these issues, we
consider an approach to federated learning that combines quantization and
differential privacy. Absent privacy, Federated Learning often relies on
quantization to reduce communication complexity. We build upon this approach
and develop a new algorithm called the \textbf{R}andomized
\textbf{Q}uantization \textbf{M}echanism (RQM), which obtains privacy through a
two-levels of randomization. More precisely, we randomly sub-sample feasible
quantization levels, then employ a randomized rounding procedure using these
sub-sampled discrete levels. We are able to establish that our results preserve
``Renyi differential privacy'' (Renyi DP). We empirically study the performance
of our algorithm and demonstrate that compared to previous work it yields
improved privacy-accuracy trade-offs for DP federated learning. To the best of
our knowledge, this is the first study that solely relies on randomized
quantization without incorporating explicit discrete noise to achieve Renyi DP
guarantees in Federated Learning systems.
- Abstract（参考訳）: フェデレートラーニング(FL)は、マシンモデルを分散的に学習するための一般的かつ実践的なフレームワークである。
この分散化アプローチの背後にある主な動機は、データプライバシであり、学習者が各ローカルソース自身のデータを見ることはない。
ひとつはサーバと多数のデータソースの間の潜在的に複雑なモデル更新を扱うことであり、もうひとつは、非分散化が実際には、ローカル更新自体がソースのデータに関する情報を明らかにすることができるため、プライバシに不十分である可能性があることだ。
これらの問題に対処するために、量子化と差分プライバシーを組み合わせた連合学習のアプローチを検討する。
プライバシーの欠如 連合学習は、しばしばコミュニケーションの複雑さを減らすために量子化に依存する。
このアプローチに基づいて,2段階のランダム化によってプライバシを取得する新しいアルゴリズムである \textbf{r}andomized \textbf{q}uantization \textbf{m}echanism (rqm) を開発した。
より正確には、ランダムにサブサンプル化可能な量子化レベルを使用し、次にこれらのサブサンプル化離散化レベルを用いてランダム化されたラウンドリング手順を用いる。
結果が「Renyi差分プライバシー」(Renyi DP)を維持していることを確認できます。
提案アルゴリズムの性能を実証的に研究し,従来の研究と比較すると,DPフェデレーション学習におけるプライバシー-正確性トレードオフの改善が示されている。
我々の知る限りでは、フェデレート学習システムにおけるRenyi DP保証を達成するために、明示的な離散ノイズを含まないランダム化量子化のみに依存する最初の研究である。
関連論文リスト
- A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。
我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。
実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文 参考訳（メタデータ） (2024-11-12T15:51:35Z) - QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。
このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。
本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
論文 参考訳（メタデータ） (2023-12-10T04:44:53Z) - Fusion of Global and Local Knowledge for Personalized Federated Learning [75.20751492913892]
本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。
我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。
適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
論文 参考訳（メタデータ） (2023-02-21T23:09:45Z) - On Differential Privacy for Federated Learning in Wireless Systems with
Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。
本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。
提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文 参考訳（メタデータ） (2022-08-25T03:37:11Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳（メタデータ） (2021-07-19T11:43:24Z) - A Graph Federated Architecture with Privacy Preserving Learning [48.24121036612076]
フェデレーション学習は、複数のエージェントと連携してグローバルモデルを見つける中央プロセッサを含む。
複数のクライアントに接続されたサーバの現在のアーキテクチャは、サーバの通信障害や計算過負荷に非常に敏感です。
暗号と差分プライバシーの概念を使用して、グラフ構造に拡張するフェデレーション学習アルゴリズムを民営化します。
論文 参考訳（メタデータ） (2021-04-26T09:51:24Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳（メタデータ） (2020-07-13T18:14:09Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳（メタデータ） (2020-07-10T18:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。