論文の概要: Communication Efficient Private Federated Learning Using Dithering
- arxiv url: http://arxiv.org/abs/2309.07809v1
- Date: Thu, 14 Sep 2023 15:55:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 12:23:04.630419
- Title: Communication Efficient Private Federated Learning Using Dithering
- Title(参考訳): ディザリングを用いた効果的なプライベートフェデレーション学習
- Authors: Burak Hasircioglu, Deniz Gunduz
- Abstract要約: 本研究では,クライアントにおける減算ディザリングに基づく量子化方式を用いることで,アグリゲータにおける通常の雑音付加処理を効果的に再現できることを示す。
これは、他のクライアントに対して同じレベルの差分プライバシーを保証すると同時に、必要な通信量を大幅に削減できることを意味します。
- 参考スコア(独自算出の注目度): 2.5155469469412877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of preserving privacy while ensuring efficient communication is a
fundamental challenge in federated learning. In this work, we tackle this
challenge in the trusted aggregator model, and propose a solution that achieves
both objectives simultaneously. We show that employing a quantization scheme
based on subtractive dithering at the clients can effectively replicate the
normal noise addition process at the aggregator. This implies that we can
guarantee the same level of differential privacy against other clients while
substantially reducing the amount of communication required, as opposed to
transmitting full precision gradients and using central noise addition. We also
experimentally demonstrate that the accuracy of our proposed approach matches
that of the full precision gradient method.
- Abstract(参考訳): 効率的なコミュニケーションを確保しながらプライバシを維持するというタスクは、連合学習における基本的な課題である。
本研究では,信頼集約モデルにおいてこの課題に取り組み,両目的を同時に達成するソリューションを提案する。
クライアントにおける減算ディザリングに基づく量子化スキームを用いることで,アグリゲータにおける通常の雑音付加プロセスを効果的に再現できることを示す。
これは、完全な精度勾配の送信や中央ノイズの追加とは対照的に、必要な通信量を実質的に削減しながら、他のクライアントに対して同じレベルの差分プライバシーを保証できることを意味する。
また,本手法の精度が完全精度勾配法と一致することを実験的に証明した。
関連論文リスト
- The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。
ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。
Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
論文 参考訳(メタデータ) (2024-02-23T08:05:23Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Asynchronous Federated Learning with Bidirectional Quantized
Communications and Buffered Aggregation [39.057968279167966]
Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。
直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
論文 参考訳(メタデータ) (2023-08-01T03:50:58Z) - Killing Two Birds with One Stone: Quantization Achieves Privacy in
Distributed Learning [18.824571167583432]
コミュニケーション効率とプライバシ保護は、分散機械学習において重要な問題である。
通信効率とプライバシ保護を同時に達成できる包括的量子化ベースのソリューションを提案する。
理論的には、コミュニケーション、プライバシ、学習パフォーマンスの新たなトレードオフを捉えます。
論文 参考訳(メタデータ) (2023-04-26T13:13:04Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳(メタデータ) (2022-10-22T04:24:32Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳(メタデータ) (2022-10-14T08:11:34Z) - FedSKETCH: Communication-Efficient and Private Federated Learning via
Sketching [33.54413645276686]
コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。
我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
論文 参考訳(メタデータ) (2020-08-11T19:22:48Z) - Efficient Sparse Secure Aggregation for Federated Learning [0.20052993723676896]
我々は,圧縮に基づくフェデレーション手法を付加的な秘密共有に適用し,効率的なセキュアなアグリゲーションプロトコルを実現する。
悪意のある敵に対するプライバシーの証明と、半正直な設定でその正しさを証明します。
セキュアアグリゲーションに関する従来の研究と比較すると、我々のプロトコルは通信コストが低く、同じ精度で適用可能なコストがかかる。
論文 参考訳(メタデータ) (2020-07-29T14:28:30Z) - An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks
in Federated Learning [82.80836918594231]
フェデレーション学習は、生データではなく、局所的な勾配やパラメータを交換することで、トレーニングデータのプライバシを改善する。
敵は、局所勾配とパラメータを利用して、再構築とメンバーシップ推論攻撃を起動することで、局所的なトレーニングデータを取得することができる。
このようなプライバシ攻撃を防御するために、多くのノイズ摂動法が広く設計されている。
論文 参考訳(メタデータ) (2020-02-23T06:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。