論文の概要: Communication-Efficient Federated Learning over Wireless Channels via Gradient Sketching

• arxiv url: http://arxiv.org/abs/2410.23424v1
• Date: Wed, 30 Oct 2024 20:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:13.650515
• Title: Communication-Efficient Federated Learning over Wireless Channels via Gradient Sketching
• Title（参考訳）: グラディエント・スケッチによる無線チャネル上でのコミュニケーション効率のよいフェデレーション学習
• Authors: Vineet Sunil Gattani, Junshan Zhang, Gautam Dasarathy,
• Abstract要約: 帯域制限の無線チャネルに適したFPS(Federated Proximal Sketching)を提案する。 FPSはバンド幅のボトルネックに対処し、効率的な圧縮を可能にするためにカウントスケッチデータ構造を使用する。 合成および実世界の両方のデータセットにおける最先端手法と比較して,FPSの安定性,精度,効率性を実証する。
• 参考スコア（独自算出の注目度）: 23.523969065599193
• License:
• Abstract: Large-scale federated learning (FL) over wireless multiple access channels (MACs) has emerged as a crucial learning paradigm with a wide range of applications. However, its widespread adoption is hindered by several major challenges, including limited bandwidth shared by many edge devices, noisy and erroneous wireless communications, and heterogeneous datasets with different distributions across edge devices. To overcome these fundamental challenges, we propose Federated Proximal Sketching (FPS), tailored towards band-limited wireless channels and handling data heterogeneity across edge devices. FPS uses a count sketch data structure to address the bandwidth bottleneck and enable efficient compression while maintaining accurate estimation of significant coordinates. Additionally, we modify the loss function in FPS such that it is equipped to deal with varying degrees of data heterogeneity. We establish the convergence of the FPS algorithm under mild technical conditions and characterize how the bias induced due to factors like data heterogeneity and noisy wireless channels play a role in the overall result. We complement the proposed theoretical framework with numerical experiments that demonstrate the stability, accuracy, and efficiency of FPS in comparison to state-of-the-art methods on both synthetic and real-world datasets. Overall, our results show that FPS is a promising solution to tackling the above challenges of FL over wireless MACs.
• Abstract（参考訳）: 無線マルチアクセスチャネル (MAC) 上での大規模連合学習 (FL) は,幅広い応用分野において重要な学習パラダイムとなっている。 しかし、その普及は、多くのエッジデバイスで共有される限られた帯域幅、ノイズや誤った無線通信、エッジデバイス間で異なる分布を持つ異種データセットなど、いくつかの大きな課題によって妨げられている。 このような基本的な課題を克服するために,帯域制限の無線チャネルに適したフェデレーション・プロキシ・スケッチ(FPS)を提案し,エッジデバイス間のデータの均一性を扱う。 FPSは、バンド幅のボトルネックに対処し、重要な座標の正確な推定を維持しながら効率的な圧縮を可能にするためにカウントスケッチデータ構造を使用する。 さらに、FPSにおける損失関数を、データの不均一性が異なる程度に扱えるように修正する。 本研究では,FPSアルゴリズムの収束性を確立し,データの不均一性やノイズのある無線チャネルなどの要因によって生じるバイアスが,全体的な結果にどのように寄与するかを特徴付ける。 提案手法とFPSの安定性,精度,効率性を実証する数値実験により,提案手法を補完する。 以上の結果から,FPSは無線MACに対するFLの課題に対処する上で,有望なソリューションであることがわかった。

関連論文リスト

• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Federated Low-Rank Adaptation with Differential Privacy over Wireless Networks [24.667581521367357]
  Federated Fine-tuning (FedFT)は、生データを共有せずに協調的なモデルトレーニングを促進することで、いくつかのプライバシー問題を緩和する。 FedFTにおけるプライバシーの盗聴攻撃のリスクは、特に医療や金融などの機密分野において懸念されている。 無線ネットワーク上での差分プライバシー(DP)を考慮したFedFTフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-12T14:01:08Z)
• Hierarchical Over-the-Air Federated Learning with Awareness of Interference and Data Heterogeneity [3.8798345704175534]
  本稿では,無線リソースを無線で効率よく利用するためのスケーラブルな伝送方式を提案する。 干渉とデータの不均一性にもかかわらず,提案手法は高い学習精度を達成し,従来の階層型アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-02T21:43:01Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Disentangled Representation Learning for RF Fingerprint Extraction under Unknown Channel Statistics [77.13542705329328]
  本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。 提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。 実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-04T15:46:48Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Blind Federated Edge Learning [93.29571175702735]
  フェデレーションエッジ学習(FEEL)について検討し,それぞれが独自のデータセットを持つ無線エッジデバイスでグローバルモデルを学ぶ。 そこで本研究では,デバイスがローカル更新を非符号化方式で送信する,アナログオーバ・ザ・エアのアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:22:28Z)
• Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning [56.94644428312295]
  無線接続は、フェデレートラーニング(FL)の実現に有効である Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。 A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。 これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
  論文  参考訳（メタデータ） (2020-07-03T16:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。