論文の概要: Rendering Wireless Environments Useful for Gradient Estimators: A
Zero-Order Stochastic Federated Learning Method
- arxiv url: http://arxiv.org/abs/2401.17460v1
- Date: Tue, 30 Jan 2024 21:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 16:15:59.921445
- Title: Rendering Wireless Environments Useful for Gradient Estimators: A
Zero-Order Stochastic Federated Learning Method
- Title(参考訳): 勾配推定に有用な無線環境のレンダリング:ゼロ次確率連関学習法
- Authors: Elissa Mhanna and Mohamad Assaad
- Abstract要約: フェデレーション・ラーニング(FL)は、機械学習の新しいアプローチであり、複数のエッジデバイスが、生データを開示することなく、協調的にモデルをトレーニングすることができる。
チャネル状態の知識を必要とせず、無線通信チャネルの性質を生かした新しいゼロオーダー推定器を提案する。
- 参考スコア(独自算出の注目度): 17.704011486040844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a novel approach to machine learning that allows
multiple edge devices to collaboratively train a model without disclosing their
raw data. However, several challenges hinder the practical implementation of
this approach, especially when devices and the server communicate over wireless
channels, as it suffers from communication and computation bottlenecks in this
case. By utilizing a communication-efficient framework, we propose a novel
zero-order (ZO) method with a one-point gradient estimator that harnesses the
nature of the wireless communication channel without requiring the knowledge of
the channel state coefficient. It is the first method that includes the
wireless channel in the learning algorithm itself instead of wasting resources
to analyze it and remove its impact. The two main difficulties of this work are
that in FL, the objective function is usually not convex, which makes the
extension of FL to ZO methods challenging, and that including the impact of
wireless channels requires extra attention. However, we overcome these
difficulties and comprehensively analyze the proposed zero-order federated
learning (ZOFL) framework. We establish its convergence theoretically, and we
prove a convergence rate of $O(\frac{1}{\sqrt[3]{K}})$ in the nonconvex
setting. We further demonstrate the potential of our algorithm with
experimental results, taking into account independent and identically
distributed (IID) and non-IID device data distributions.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数のエッジデバイスが生データを開示することなく、協調的にモデルをトレーニングできる、機械学習の新しいアプローチである。
しかし、通信や計算のボトルネックに苦しむため、特にデバイスとサーバが無線チャネルを介して通信する場合、このアプローチの実践的実装を妨げるいくつかの課題がある。
通信効率の高い枠組みを用いて, チャネル状態係数の知識を必要とせず, 無線通信チャネルの性質を利用する一点勾配推定器を用いた新しいゼロオーダー(zo)方式を提案する。
学習アルゴリズム自体に無線チャネルを組み込む最初の方法であり、それを分析し、その影響を取り除くリソースを無駄にしない。
この研究の2つの主な困難は、flでは目的関数が通常凸でないことであり、これにより fl から zo メソッドへの拡張が難しくなり、無線チャネルの影響を含め、追加の注意が要る。
しかし,これらの課題を克服し,提案するゼロ次フェデレート学習(zofl)フレームワークを包括的に分析した。
我々は、その収束を理論的に確立し、非凸設定で $o(\frac{1}{\sqrt[3]{k}})$ の収束率を証明する。
さらに、独立・同一分散(IID)および非IIDデバイスデータ分布を考慮した実験結果により、本アルゴリズムの可能性を示す。
関連論文リスト
- Coordination-free Decentralised Federated Learning on Complex Networks:
Overcoming Heterogeneity [2.6849848612544]
Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。
本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。
我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
論文 参考訳(メタデータ) (2023-12-07T18:24:19Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Disentangled Representation Learning for RF Fingerprint Extraction under
Unknown Channel Statistics [77.13542705329328]
本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。
提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。
実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-04T15:46:48Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-01-19T23:25:24Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T08:19:54Z) - Fast Federated Learning in the Presence of Arbitrary Device
Unavailability [26.368873771739715]
Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。
ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。
我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
論文 参考訳(メタデータ) (2021-06-08T07:46:31Z) - Federated Learning in Unreliable and Resource-Constrained Cellular
Wireless Networks [35.80470886180477]
本稿では,セルラー無線ネットワークに適した連合学習アルゴリズムを提案する。
収束を証明し、収束率を最大化する最適なスケジューリングポリシーを提供します。
論文 参考訳(メタデータ) (2020-12-09T16:16:43Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。