Fugu-MT 論文翻訳(概要): Communication Efficient Private Federated Learning Using Dithering

論文の概要: Communication Efficient Private Federated Learning Using Dithering

arxiv url: http://arxiv.org/abs/2309.07809v1
Date: Thu, 14 Sep 2023 15:55:58 GMT
ステータス: 処理完了
システム内更新日: 2023-09-15 12:23:04.630419
Title: Communication Efficient Private Federated Learning Using Dithering
Title（参考訳）: ディザリングを用いた効果的なプライベートフェデレーション学習
Authors: Burak Hasircioglu, Deniz Gunduz
Abstract要約: 本研究では,クライアントにおける減算ディザリングに基づく量子化方式を用いることで,アグリゲータにおける通常の雑音付加処理を効果的に再現できることを示す。これは、他のクライアントに対して同じレベルの差分プライバシーを保証すると同時に、必要な通信量を大幅に削減できることを意味します。
参考スコア（独自算出の注目度）: 2.5155469469412877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of preserving privacy while ensuring efficient communication is a fundamental challenge in federated learning. In this work, we tackle this challenge in the trusted aggregator model, and propose a solution that achieves both objectives simultaneously. We show that employing a quantization scheme based on subtractive dithering at the clients can effectively replicate the normal noise addition process at the aggregator. This implies that we can guarantee the same level of differential privacy against other clients while substantially reducing the amount of communication required, as opposed to transmitting full precision gradients and using central noise addition. We also experimentally demonstrate that the accuracy of our proposed approach matches that of the full precision gradient method.
Abstract（参考訳）: 効率的なコミュニケーションを確保しながらプライバシを維持するというタスクは、連合学習における基本的な課題である。本研究では,信頼集約モデルにおいてこの課題に取り組み,両目的を同時に達成するソリューションを提案する。クライアントにおける減算ディザリングに基づく量子化スキームを用いることで,アグリゲータにおける通常の雑音付加プロセスを効果的に再現できることを示す。これは、完全な精度勾配の送信や中央ノイズの追加とは対照的に、必要な通信量を実質的に削減しながら、他のクライアントに対して同じレベルの差分プライバシーを保証できることを意味する。また,本手法の精度が完全精度勾配法と一致することを実験的に証明した。

関連論文リスト

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
論文参考訳（メタデータ） (2024-09-22T00:49:10Z)
Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。 2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
論文参考訳（メタデータ） (2024-08-08T08:48:54Z)
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文参考訳（メタデータ） (2024-05-20T06:12:33Z)
The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。 ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。 Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
論文参考訳（メタデータ） (2024-02-23T08:05:23Z)
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文参考訳（メタデータ） (2024-02-16T16:41:14Z)
Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation [39.057968279167966]
Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
論文参考訳（メタデータ） (2023-08-01T03:50:58Z)
Killing Two Birds with One Stone: Quantization Achieves Privacy in Distributed Learning [18.824571167583432]
コミュニケーション効率とプライバシ保護は、分散機械学習において重要な問題である。通信効率とプライバシ保護を同時に達成できる包括的量子化ベースのソリューションを提案する。理論的には、コミュニケーション、プライバシ、学習パフォーマンスの新たなトレードオフを捉えます。
論文参考訳（メタデータ） (2023-04-26T13:13:04Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching [33.54413645276686]
コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
論文参考訳（メタデータ） (2020-08-11T19:22:48Z)
Efficient Sparse Secure Aggregation for Federated Learning [0.20052993723676896]
我々は,圧縮に基づくフェデレーション手法を付加的な秘密共有に適用し,効率的なセキュアなアグリゲーションプロトコルを実現する。悪意のある敵に対するプライバシーの証明と、半正直な設定でその正しさを証明します。セキュアアグリゲーションに関する従来の研究と比較すると、我々のプロトコルは通信コストが低く、同じ精度で適用可能なコストがかかる。
論文参考訳（メタデータ） (2020-07-29T14:28:30Z)
An Accuracy-Lossless Perturbation Method for Defending Privacy Attacks in Federated Learning [82.80836918594231]
フェデレーション学習は、生データではなく、局所的な勾配やパラメータを交換することで、トレーニングデータのプライバシを改善する。敵は、局所勾配とパラメータを利用して、再構築とメンバーシップ推論攻撃を起動することで、局所的なトレーニングデータを取得することができる。このようなプライバシ攻撃を防御するために、多くのノイズ摂動法が広く設計されている。
論文参考訳（メタデータ） (2020-02-23T06:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。