論文の概要: Low-Latency Federated Learning over Wireless Channels with Differential Privacy

• arxiv url: http://arxiv.org/abs/2106.13039v1
• Date: Sun, 20 Jun 2021 13:51:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 14:52:30.100965
• Title: Low-Latency Federated Learning over Wireless Channels with Differential Privacy
• Title（参考訳）: 差分プライバシーを持つ無線チャネル上での低レイテンシフェデレーション学習
• Authors: Kang Wei, Jun Li, Chuan Ma, Ming Ding, Cailian Chen, Shi Jin, Zhu Han and H. Vincent Poor
• Abstract要約: フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
• 参考スコア（独自算出の注目度）: 142.5983499872664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), model training is distributed over clients and local models are aggregated by a central server. The performance of uploaded models in such situations can vary widely due to imbalanced data distributions, potential demands on privacy protections, and quality of transmissions. In this paper, we aim to minimize FL training delay over wireless channels, constrained by overall training performance as well as each client's differential privacy (DP) requirement. We solve this problem in the framework of multi-agent multi-armed bandit (MAMAB) to deal with the situation where there are multiple clients confornting different unknown transmission environments, e.g., channel fading and interferences. Specifically, we first transform the long-term constraints on both training performance and each client's DP into a virtual queue based on the Lyapunov drift technique. Then, we convert the MAMAB to a max-min bipartite matching problem at each communication round, by estimating rewards with the upper confidence bound (UCB) approach. More importantly, we propose two efficient solutions to this matching problem, i.e., modified Hungarian algorithm and greedy matching with a better alternative (GMBA), in which the first one can achieve the optimal solution with a high complexity while the second one approaches a better trade-off by enabling a verified low-complexity with little performance loss. In addition, we develop an upper bound on the expected regret of this MAMAB based FL framework, which shows a linear growth over the logarithm of communication rounds, justifying its theoretical feasibility. Extensive experimental results are conducted to validate the effectiveness of our proposed algorithms, and the impacts of various parameters on the FL performance over wireless edge networks are also discussed.
• Abstract（参考訳）: 統合学習(FL)では、モデルトレーニングはクライアントに分散され、ローカルモデルは中央サーバによって集約される。 このような状況下でのアップロードされたモデルの性能は、不均衡なデータ分散、プライバシー保護に対する潜在的な要求、および送信品質によって大きく異なる可能性がある。 本稿では,各クライアントのディファレンシャルプライバシ(dp)要件に加えて,全体的なトレーニング性能によって制約される無線チャネル上でのflトレーニング遅延を最小限に抑えることを目的とする。 本稿では,マルチエージェントマルチアーム付きバンディット(mamab)の枠組みでこの問題を解決し,チャネルフェージングや干渉など,未知の伝送環境を複数のクライアントで強制する状況に対処する。 具体的には、まず、学習性能と各クライアントのDPの長期的制約をリアプノフドリフト技術に基づく仮想キューに変換する。 次に,MAMABを各通信ラウンドにおける最大二分項マッチング問題に変換し,上限信頼度(UCB)アプローチで報酬を推定する。 より重要なことは、このマッチング問題に対する2つの効率的な解、すなわち、改良されたハンガリーのアルゴリズムとより優れた代替案(GMBA)との欲求整合(greedy matching)を提案することである。 さらに,このMAMABをベースとしたFLフレームワークは,通信ラウンドの対数に対して線形に成長し,その理論的実現可能性の正当化を図る。 また,提案アルゴリズムの有効性を検証するために広範囲な実験を行い,無線エッジネットワーク上でのfl性能に対する各種パラメータの影響について検討した。

関連論文リスト

• pFedWN: A Personalized Federated Learning Framework for D2D Wireless Networks with Heterogeneous Data [1.9188272016043582]
  従来のフェデレートラーニングアプローチは、クライアント間のデータの異質性に悩まされることが多い。 PFLは、非独立で同一の分散(非IID)とクライアント間のアンバランスなデータによって引き起こされる課題に対する解決策として現れます。 デバイス間通信(D2D)の無線チャネル条件をサーバフリーなPFLアプローチに組み込む共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-01-16T20:16:49Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• One-Shot Federated Learning with Bayesian Pseudocoresets [19.53527340816458]
  分散関数空間推論はベイズ擬似コア集合の学習と密接に関連していることを示す。 提案手法は,最先端技術と競合する予測性能を実現するとともに,最大2桁の通信コストの大幅な削減を図っている。
  論文  参考訳（メタデータ） (2024-06-04T10:14:39Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning [56.94644428312295]
  無線接続は、フェデレートラーニング(FL)の実現に有効である Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。 A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。 これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
  論文  参考訳（メタデータ） (2020-07-03T16:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。