論文の概要: Wireless Federated Learning with Limited Communication and Differential Privacy

• arxiv url: http://arxiv.org/abs/2106.00564v1
• Date: Tue, 1 Jun 2021 15:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 13:59:52.423056
• Title: Wireless Federated Learning with Limited Communication and Differential Privacy
• Title（参考訳）: 限定的な通信と差分プライバシーを持つ無線フェデレーション学習
• Authors: Amir Sonee and Stefano Rini and Yu-Chih Huang
• Abstract要約: 本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
• 参考スコア（独自算出の注目度）: 21.328507360172203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the role of dimensionality reduction in efficient communication and differential privacy (DP) of the local datasets at the remote users for over-the-air computation (AirComp)-based federated learning (FL) model. More precisely, we consider the FL setting in which clients are prompted to train a machine learning model by simultaneous channel-aware and limited communications with a parameter server (PS) over a Gaussian multiple-access channel (GMAC), so that transmissions sum coherently at the PS globally aware of the channel coefficients. For this setting, an algorithm is proposed based on applying federated stochastic gradient descent (FedSGD) for training the minimum of a given loss function based on the local gradients, Johnson-Lindenstrauss (JL) random projection for reducing the dimension of the local updates, and artificial noise to further aid user's privacy. For this scheme, our results show that the local DP performance is mainly improved due to injecting noise of greater variance on each dimension while keeping the sensitivity of the projected vectors unchanged. This is while the convergence rate is slowed down compared to the case without dimensionality reduction. As the performance outweighs for the slower convergence, the trade-off between privacy and convergence is higher but is shown to lessen in high-dimensional regime yielding almost the same trade-off with much less communication cost.
• Abstract（参考訳）: 本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,ローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。 より正確には、ガウスマルチアクセスチャネル(gmac)上のパラメータサーバ(ps)との同時チャネル認識と限定的な通信により、クライアントが機械学習モデルをトレーニングするように促されるfl設定を考える。 この設定のために、局所勾配に基づいて与えられた損失関数の最小値をトレーニングするためのフェデレート確率勾配降下(FedSGD)、局所的な更新の次元を小さくするためのジョンソン・リンデンシュトラウス(JL)ランダムプロジェクション、ユーザのプライバシーをさらに支援するための人工ノイズを適用するアルゴリズムを提案する。 本手法では,各次元に大きなノイズを注入し,ベクトルの感度を一定に保ちながら,局所DP性能が主に向上していることが示唆された。 これは次元減少のない場合と比較して収束速度が遅くなるのに対してである。 コンバージェンスが遅いため、プライバシとコンバージェンスの間のトレードオフは高いが、高次元のシステムでは、通信コストをはるかに少なくしてほぼ同じトレードオフが発生することが示されている。

関連論文リスト

• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。