論文の概要: FedCGD: Collective Gradient Divergence Optimized Scheduling for Wireless Federated Learning

• arxiv url: http://arxiv.org/abs/2506.07581v1
• Date: Mon, 09 Jun 2025 09:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.889394
• Title: FedCGD: Collective Gradient Divergence Optimized Scheduling for Wireless Federated Learning
• Title（参考訳）: FedCGD: 無線フェデレーション学習のための集団的勾配変化最適化スケジューリング
• Authors: Tan Chen, Jintao Yan, Yuxuan Sun, Sheng Zhou, Zhisheng Niu,
• Abstract要約: フェデレートラーニング(FL)は、複数のデバイスがモデルをトレーニングする上で有望なパラダイムである。 本稿では,FLの収束速度がデバイスレベルおよびサンプルレベル集団勾配偏差(CGD)の和に影響されることを実証する。 我々は,WEMDとサンプリング分散のバランスをとることで,多レベルCGDの和を時間内に最小化するFedCGDアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.064543676512256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a promising paradigm for multiple devices to cooperatively train a model. When applied in wireless networks, two issues consistently affect the performance of FL, i.e., data heterogeneity of devices and limited bandwidth. Many papers have investigated device scheduling strategies considering the two issues. However, most of them recognize data heterogeneity as a property of individual devices. In this paper, we prove that the convergence speed of FL is affected by the sum of device-level and sample-level collective gradient divergence (CGD). The device-level CGD refers to the gradient divergence of the scheduled device group, instead of the sum of the individual device divergence. The sample-level CGD is statistically upper bounded by sampling variance, which is inversely proportional to the total number of samples scheduled for local update. To derive a tractable form of the device-level CGD, we further consider a classification problem and transform it into the weighted earth moving distance (WEMD) between the group distribution and the global distribution. Then we propose FedCGD algorithm to minimize the sum of multi-level CGDs by balancing WEMD and sampling variance, within polynomial time. Simulation shows that the proposed strategy increases classification accuracy on the CIFAR-10 dataset by up to 4.2\% while scheduling 41.8\% fewer devices, and flexibly switches between reducing WEMD and reducing sampling variance.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のデバイスが協調的にモデルを訓練する上で有望なパラダイムである。 無線ネットワークに適用する場合、FLの性能、すなわちデバイスのデータ不均一性と帯域幅の制限という2つの問題が一貫して影響する。 この2つの問題を考慮に入れた機器スケジューリング戦略を,多くの論文で検討している。 しかし、そのほとんどは、データの不均一性を個々のデバイスの特性として認識している。 本稿では,FLの収束速度がデバイスレベルおよびサンプルレベル集団勾配偏差(CGD)の和に影響されることを実証する。 デバイスレベルCGDは、個々のデバイスばらつきの和ではなく、スケジュールされたデバイスグループの勾配ばらつきを指す。 サンプルレベルのCGDはサンプリング分散によって統計的に上界となり、これは局所的な更新のためにスケジュールされるサンプルの総数に逆比例する。 デバイスレベルのCGDの抽出可能な形式を導出するために,さらに分類問題を考慮し,グループ分布とグローバル分布の間の重み付き地球移動距離(WEMD)に変換する。 そこで我々は,WEMDとサンプリング分散のバランスをとることで,マルチレベルCGDの和を多項式時間で最小化するFedCGDアルゴリズムを提案する。 シミュレーションにより,CIFAR-10データセットの分類精度を最大4.2\%向上し,41.8\%のデバイスをスケジューリングし,WEMDの低減とサンプリング分散の低減を柔軟に切り替えることを示した。

関連論文リスト

• Improving Distribution Alignment with Diversity-based Sampling [0.0]
  ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
  論文  参考訳（メタデータ） (2024-10-05T17:26:03Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Joint Power Control and Data Size Selection for Over-the-Air Computation Aided Federated Learning [19.930700426682982]
  フェデレートラーニング(FL)は、複数のモバイルデバイスで生成された大量の生データを処理するための、魅力的な機械学習アプローチとして登場した。 本稿では,基地局と移動機器の信号増幅係数を協調的に最適化することを提案する。 提案手法は平均二乗誤差(MSE)を大幅に低減し,FLの性能向上に有効である。
  論文  参考訳（メタデータ） (2023-08-17T16:01:02Z)
• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Over-the-Air Federated Edge Learning with Hierarchical Clustering [21.51594138166343]
  OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。 OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。 OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。 我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
  論文  参考訳（メタデータ） (2022-07-19T12:42:12Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• FedLGA: Towards System-Heterogeneity of Federated Learning via Local Gradient Approximation [21.63719641718363]
  システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。 複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-22T16:05:09Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。