論文の概要: Federated Learning over Wireless Networks: A Band-limited Coordinated Descent Approach

• arxiv url: http://arxiv.org/abs/2102.07972v1
• Date: Tue, 16 Feb 2021 06:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 08:29:51.758391
• Title: Federated Learning over Wireless Networks: A Band-limited Coordinated Descent Approach
• Title（参考訳）: 無線ネットワークによる連合学習:バンド制限型協調降下法
• Authors: Junshan Zhang, Na Li, Mehmet Dedeoglu
• Abstract要約: ネットワークエッジにおけるフェデレート学習のための多対一無線アーキテクチャについて検討する。 エッジデバイスのローカルアップデートは、利用可能な無線通信リソースに合わせて慎重に作成および圧縮されなければならない。 本稿では,SGDに基づく帯域限定座標降下アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 28.616890702473526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a many-to-one wireless architecture for federated learning at the network edge, where multiple edge devices collaboratively train a model using local data. The unreliable nature of wireless connectivity, together with constraints in computing resources at edge devices, dictates that the local updates at edge devices should be carefully crafted and compressed to match the wireless communication resources available and should work in concert with the receiver. Thus motivated, we propose SGD-based bandlimited coordinate descent algorithms for such settings. Specifically, for the wireless edge employing over-the-air computing, a common subset of k-coordinates of the gradient updates across edge devices are selected by the receiver in each iteration, and then transmitted simultaneously over k sub-carriers, each experiencing time-varying channel conditions. We characterize the impact of communication error and compression, in terms of the resulting gradient bias and mean squared error, on the convergence of the proposed algorithms. We then study learning-driven communication error minimization via joint optimization of power allocation and learning rates. Our findings reveal that optimal power allocation across different sub-carriers should take into account both the gradient values and channel conditions, thus generalizing the widely used water-filling policy. We also develop sub-optimal distributed solutions amenable to implementation.
• Abstract（参考訳）: ネットワークエッジにおけるフェデレーション学習のための多対一無線アーキテクチャについて検討し,複数のエッジデバイスがローカルデータを用いてモデルを協調的にトレーニングする。 エッジデバイスのコンピューティングリソースの制約とともに、ワイヤレス接続の信頼性の低い性質は、エッジデバイスのローカル更新は、利用可能なワイヤレス通信リソースに合わせて慎重に作成および圧縮され、受信機と連携して動作するべきであることを指示します。 そこで本研究では,SGDに基づく帯域限定座標降下アルゴリズムを提案する。 具体的には、over-the-airコンピューティングを使用する無線エッジにおいて、エッジデバイス間の勾配更新のk-coordinateの共通サブセットを、各イテレーションで受信機によって選択し、各タイムバランシングチャネル条件下でkサブキャリア上で同時に送信する。 提案アルゴリズムの収束度に及ぼす通信誤りと圧縮の影響を,結果として生じる勾配バイアスと平均二乗誤差の観点から評価する。 次に,電力割当と学習率の協調最適化による学習駆動型通信誤り最小化について検討する。 その結果,異なるサブキャリア間での最適電力配分は,勾配値とチャネル条件の両方を考慮に入れるべきであり,水充填政策の一般化が期待できることがわかった。 また,実装可能なサブ最適分散ソリューションも開発した。

関連論文リスト

• Collaborative Edge AI Inference over Cloud-RAN [37.3710464868215]
  クラウド無線アクセスネットワーク(Cloud-RAN)ベースの協調エッジAI推論アーキテクチャを提案する。 具体的には、地理的に分散したデバイスが、リアルタイムのノイズ破壊センサデータサンプルをキャプチャし、ノイズの多い局所特徴ベクトルを抽出する。 我々は,各RRHが同一リソースブロック上の全デバイスから局所的特徴ベクトルを同時に受信することを可能にする。 これらの集約された特徴ベクトルは量子化され、さらに集約および下流推論タスクのために中央プロセッサに送信される。
  論文  参考訳（メタデータ） (2024-04-09T04:26:16Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Scalable Hierarchical Over-the-Air Federated Learning [3.8798345704175534]
  この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。 本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。 干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
  論文  参考訳（メタデータ） (2022-11-29T12:46:37Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Learning Resilient Radio Resource Management Policies with Graph Neural Networks [124.89036526192268]
  我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。 有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。 このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-03-07T19:40:39Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• Federated Learning in Unreliable and Resource-Constrained Cellular Wireless Networks [35.80470886180477]
  本稿では,セルラー無線ネットワークに適した連合学習アルゴリズムを提案する。 収束を証明し、収束率を最大化する最適なスケジューリングポリシーを提供します。
  論文  参考訳（メタデータ） (2020-12-09T16:16:43Z)
• Deep Reinforcement Learning for Resource Constrained Multiclass Scheduling in Wireless Networks [0.0]
  セットアップでは、ランダムに到着するサービス要求に対応するために、利用可能な限られた帯域幅のリソースを割り当てます。 本稿では,Deep Setsと組み合わせた分布型Deep Deterministic Policy Gradient (DDPG)アルゴリズムを提案する。 提案アルゴリズムは, 合成データと実データの両方で検証し, 従来手法に対する一貫した利得を示す。
  論文  参考訳（メタデータ） (2020-11-27T09:49:38Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。