論文の概要: Time-Correlated Sparsification for Efficient Over-the-Air Model
Aggregation in Wireless Federated Learning
- arxiv url: http://arxiv.org/abs/2202.08420v1
- Date: Thu, 17 Feb 2022 02:48:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 16:36:24.970192
- Title: Time-Correlated Sparsification for Efficient Over-the-Air Model
Aggregation in Wireless Federated Learning
- Title（参考訳）: 無線フェデレーション学習における航空モデル集約の効率化のための時間関連スパシフィケーション
- Authors: Yuxuan Sun, Sheng Zhou, Zhisheng Niu, Deniz G\"und\"uz
- Abstract要約: Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。
通信効率の高いFEELのためのハイブリッドアグリゲーション(TCS-H)を用いた時間相関スペーシングを提案する。
- 参考スコア（独自算出の注目度）: 23.05003652536773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated edge learning (FEEL) is a promising distributed machine learning
(ML) framework to drive edge intelligence applications. However, due to the
dynamic wireless environments and the resource limitations of edge devices,
communication becomes a major bottleneck. In this work, we propose
time-correlated sparsification with hybrid aggregation (TCS-H) for
communication-efficient FEEL, which exploits jointly the power of model
compression and over-the-air computation. By exploiting the temporal
correlations among model parameters, we construct a global sparsification mask,
which is identical across devices, and thus enables efficient model aggregation
over-the-air. Each device further constructs a local sparse vector to explore
its own important parameters, which are aggregated via digital communication
with orthogonal multiple access. We further design device scheduling and power
allocation algorithms for TCS-H. Experiment results show that, under limited
communication resources, TCS-H can achieve significantly higher accuracy
compared to the conventional top-K sparsification with orthogonal model
aggregation, with both i.i.d. and non-i.i.d. data distributions.
- Abstract（参考訳）: Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。
しかし、無線の動的な環境とエッジデバイスのリソース制限により、通信は大きなボトルネックとなる。
本研究では,通信効率の高い FEEL のためのハイブリッドアグリゲーション (TCS-H) を用いた時間相関スペーシングを提案する。
モデルパラメータ間の時間的相関を利用して、デバイス間で同一のグローバルスペーシフィケーションマスクを構築し、より効率的なモデルアグリゲーションを実現する。
各デバイスはさらに局所スパースベクトルを構築し、それぞれが直交する多重アクセスを持つデジタル通信によって集約される重要なパラメータを探索する。
tcs-hの装置スケジューリングと電力割当アルゴリズムを更に設計する。
実験結果から,TCS-Hは通信資源が限られており,直交モデルアグリゲーションによる従来のTop-Kスペーシフィケーションに比べて高い精度が得られることがわかった。
関連論文リスト
- DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset [23.11152686493894]
Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-20T08:36:12Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Semi-Asynchronous Federated Edge Learning Mechanism via Over-the-air
Computation [4.598679151181452]
FEELシステムのトレーニング効率を向上させるために,AirCompスキーム(PAOTA)を用いた半非同期アグリゲーションFEEL機構を提案する。
提案アルゴリズムは, 理想的な局所SGDに近い収束性能を実現する。
論文 参考訳（メタデータ） (2023-05-06T15:06:03Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳（メタデータ） (2022-02-07T15:04:15Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-01-19T23:25:24Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - Edge Federated Learning Via Unit-Modulus Over-The-Air Computation
(Extended Version) [64.76619508293966]
本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。
ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。
車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
論文 参考訳（メタデータ） (2021-01-28T15:10:22Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Scheduling Policy and Power Allocation for Federated Learning in NOMA
Based MEC [21.267954799102874]
Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。
重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。
シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
論文 参考訳（メタデータ） (2020-06-21T23:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。