論文の概要: Communication-Efficient Federated Learning over Wireless Channels via Gradient Sketching

• arxiv url: http://arxiv.org/abs/2410.23424v1
• Date: Wed, 30 Oct 2024 20:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:13.650515
• Title: Communication-Efficient Federated Learning over Wireless Channels via Gradient Sketching
• Title（参考訳）: グラディエント・スケッチによる無線チャネル上でのコミュニケーション効率のよいフェデレーション学習
• Authors: Vineet Sunil Gattani, Junshan Zhang, Gautam Dasarathy,
• Abstract要約: 帯域制限の無線チャネルに適したFPS(Federated Proximal Sketching)を提案する。 FPSはバンド幅のボトルネックに対処し、効率的な圧縮を可能にするためにカウントスケッチデータ構造を使用する。 合成および実世界の両方のデータセットにおける最先端手法と比較して,FPSの安定性,精度,効率性を実証する。
• 参考スコア（独自算出の注目度）: 23.523969065599193
• License:
• Abstract: Large-scale federated learning (FL) over wireless multiple access channels (MACs) has emerged as a crucial learning paradigm with a wide range of applications. However, its widespread adoption is hindered by several major challenges, including limited bandwidth shared by many edge devices, noisy and erroneous wireless communications, and heterogeneous datasets with different distributions across edge devices. To overcome these fundamental challenges, we propose Federated Proximal Sketching (FPS), tailored towards band-limited wireless channels and handling data heterogeneity across edge devices. FPS uses a count sketch data structure to address the bandwidth bottleneck and enable efficient compression while maintaining accurate estimation of significant coordinates. Additionally, we modify the loss function in FPS such that it is equipped to deal with varying degrees of data heterogeneity. We establish the convergence of the FPS algorithm under mild technical conditions and characterize how the bias induced due to factors like data heterogeneity and noisy wireless channels play a role in the overall result. We complement the proposed theoretical framework with numerical experiments that demonstrate the stability, accuracy, and efficiency of FPS in comparison to state-of-the-art methods on both synthetic and real-world datasets. Overall, our results show that FPS is a promising solution to tackling the above challenges of FL over wireless MACs.
• Abstract（参考訳）: 無線マルチアクセスチャネル (MAC) 上での大規模連合学習 (FL) は,幅広い応用分野において重要な学習パラダイムとなっている。 しかし、その普及は、多くのエッジデバイスで共有される限られた帯域幅、ノイズや誤った無線通信、エッジデバイス間で異なる分布を持つ異種データセットなど、いくつかの大きな課題によって妨げられている。 このような基本的な課題を克服するために,帯域制限の無線チャネルに適したフェデレーション・プロキシ・スケッチ(FPS)を提案し,エッジデバイス間のデータの均一性を扱う。 FPSは、バンド幅のボトルネックに対処し、重要な座標の正確な推定を維持しながら効率的な圧縮を可能にするためにカウントスケッチデータ構造を使用する。 さらに、FPSにおける損失関数を、データの不均一性が異なる程度に扱えるように修正する。 本研究では,FPSアルゴリズムの収束性を確立し,データの不均一性やノイズのある無線チャネルなどの要因によって生じるバイアスが,全体的な結果にどのように寄与するかを特徴付ける。 提案手法とFPSの安定性,精度,効率性を実証する数値実験により,提案手法を補完する。 以上の結果から,FPSは無線MACに対するFLの課題に対処する上で,有望なソリューションであることがわかった。

関連論文リスト

• Online-Score-Aided Federated Learning: Taming the Resource Constraints in Wireless Networks [26.74283774805648]
  我々は,無線アプリケーションに関連するタスクを学習するために,OSAFLと呼ばれる新しいFLアルゴリズムを提案する。 当社の大規模なシミュレーションでは,3つの異なるデータセットを持つ2つのタスクについて,OSAFLの有効性を4つの一般的なMLモデルで検証しています。
  論文  参考訳（メタデータ） (2024-08-12T01:27:06Z)
• Hierarchical Over-the-Air Federated Learning with Awareness of Interference and Data Heterogeneity [3.8798345704175534]
  本稿では,無線リソースを無線で効率よく利用するためのスケーラブルな伝送方式を提案する。 干渉とデータの不均一性にもかかわらず,提案手法は高い学習精度を達成し,従来の階層型アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-02T21:43:01Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Disentangled Representation Learning for RF Fingerprint Extraction under Unknown Channel Statistics [77.13542705329328]
  本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。 提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。 実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-04T15:46:48Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• Blind Federated Edge Learning [93.29571175702735]
  フェデレーションエッジ学習(FEEL)について検討し,それぞれが独自のデータセットを持つ無線エッジデバイスでグローバルモデルを学ぶ。 そこで本研究では,デバイスがローカル更新を非符号化方式で送信する,アナログオーバ・ザ・エアのアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:22:28Z)
• Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning [56.94644428312295]
  無線接続は、フェデレートラーニング(FL)の実現に有効である Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。 A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。 これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
  論文  参考訳（メタデータ） (2020-07-03T16:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。