論文の概要: Low-Latency Federated Learning over Wireless Channels with Differential
Privacy
- arxiv url: http://arxiv.org/abs/2106.13039v1
- Date: Sun, 20 Jun 2021 13:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 14:52:30.100965
- Title: Low-Latency Federated Learning over Wireless Channels with Differential
Privacy
- Title（参考訳）: 差分プライバシーを持つ無線チャネル上での低レイテンシフェデレーション学習
- Authors: Kang Wei, Jun Li, Chuan Ma, Ming Ding, Cailian Chen, Shi Jin, Zhu Han
and H. Vincent Poor
- Abstract要約: フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
- 参考スコア（独自算出の注目度）: 142.5983499872664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning (FL), model training is distributed over clients and
local models are aggregated by a central server. The performance of uploaded
models in such situations can vary widely due to imbalanced data distributions,
potential demands on privacy protections, and quality of transmissions. In this
paper, we aim to minimize FL training delay over wireless channels, constrained
by overall training performance as well as each client's differential privacy
(DP) requirement. We solve this problem in the framework of multi-agent
multi-armed bandit (MAMAB) to deal with the situation where there are multiple
clients confornting different unknown transmission environments, e.g., channel
fading and interferences. Specifically, we first transform the long-term
constraints on both training performance and each client's DP into a virtual
queue based on the Lyapunov drift technique. Then, we convert the MAMAB to a
max-min bipartite matching problem at each communication round, by estimating
rewards with the upper confidence bound (UCB) approach. More importantly, we
propose two efficient solutions to this matching problem, i.e., modified
Hungarian algorithm and greedy matching with a better alternative (GMBA), in
which the first one can achieve the optimal solution with a high complexity
while the second one approaches a better trade-off by enabling a verified
low-complexity with little performance loss. In addition, we develop an upper
bound on the expected regret of this MAMAB based FL framework, which shows a
linear growth over the logarithm of communication rounds, justifying its
theoretical feasibility. Extensive experimental results are conducted to
validate the effectiveness of our proposed algorithms, and the impacts of
various parameters on the FL performance over wireless edge networks are also
discussed.
- Abstract（参考訳）: 統合学習(FL)では、モデルトレーニングはクライアントに分散され、ローカルモデルは中央サーバによって集約される。
このような状況下でのアップロードされたモデルの性能は、不均衡なデータ分散、プライバシー保護に対する潜在的な要求、および送信品質によって大きく異なる可能性がある。
本稿では,各クライアントのディファレンシャルプライバシ(dp)要件に加えて,全体的なトレーニング性能によって制約される無線チャネル上でのflトレーニング遅延を最小限に抑えることを目的とする。
本稿では,マルチエージェントマルチアーム付きバンディット(mamab)の枠組みでこの問題を解決し,チャネルフェージングや干渉など,未知の伝送環境を複数のクライアントで強制する状況に対処する。
具体的には、まず、学習性能と各クライアントのDPの長期的制約をリアプノフドリフト技術に基づく仮想キューに変換する。
次に,MAMABを各通信ラウンドにおける最大二分項マッチング問題に変換し,上限信頼度(UCB)アプローチで報酬を推定する。
より重要なことは、このマッチング問題に対する2つの効率的な解、すなわち、改良されたハンガリーのアルゴリズムとより優れた代替案(GMBA)との欲求整合(greedy matching)を提案することである。
さらに,このMAMABをベースとしたFLフレームワークは,通信ラウンドの対数に対して線形に成長し,その理論的実現可能性の正当化を図る。
また,提案アルゴリズムの有効性を検証するために広範囲な実験を行い,無線エッジネットワーク上でのfl性能に対する各種パラメータの影響について検討した。
関連論文リスト
- One-Shot Federated Learning with Bayesian Pseudocoresets [19.53527340816458]
分散関数空間推論はベイズ擬似コア集合の学習と密接に関連していることを示す。
提案手法は,最先端技術と競合する予測性能を実現するとともに,最大2桁の通信コストの大幅な削減を図っている。
論文 参考訳（メタデータ） (2024-06-04T10:14:39Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Training Latency Minimization for Model-Splitting Allowed Federated Edge
Learning [16.8717239856441]
我々は,深層ニューラルネットワーク(DNN)の訓練において,クライアントが直面する計算能力の不足を軽減するためのモデル分割許容FL(SFL)フレームワークを提案する。
同期したグローバルアップデート設定では、グローバルトレーニングを完了するためのレイテンシは、クライアントがローカルトレーニングセッションを完了するための最大レイテンシによって決定される。
この混合整数非線形計画問題の解法として,AIモデルのカット層と他のパラメータの量的関係に適合する回帰法を提案し,TLMPを連続的な問題に変換する。
論文 参考訳（メタデータ） (2023-07-21T12:26:42Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T12:39:23Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Harnessing Wireless Channels for Scalable and Privacy-Preserving
Federated Learning [56.94644428312295]
無線接続は、フェデレートラーニング(FL)の実現に有効である
Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。
A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。
これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
論文 参考訳（メタデータ） (2020-07-03T16:31:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。