論文の概要: Rendering Wireless Environments Useful for Gradient Estimators: A
Zero-Order Stochastic Federated Learning Method
- arxiv url: http://arxiv.org/abs/2401.17460v1
- Date: Tue, 30 Jan 2024 21:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 16:15:59.921445
- Title: Rendering Wireless Environments Useful for Gradient Estimators: A
Zero-Order Stochastic Federated Learning Method
- Title(参考訳): 勾配推定に有用な無線環境のレンダリング:ゼロ次確率連関学習法
- Authors: Elissa Mhanna and Mohamad Assaad
- Abstract要約: フェデレーション・ラーニング(FL)は、機械学習の新しいアプローチであり、複数のエッジデバイスが、生データを開示することなく、協調的にモデルをトレーニングすることができる。
チャネル状態の知識を必要とせず、無線通信チャネルの性質を生かした新しいゼロオーダー推定器を提案する。
- 参考スコア(独自算出の注目度): 17.704011486040844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a novel approach to machine learning that allows
multiple edge devices to collaboratively train a model without disclosing their
raw data. However, several challenges hinder the practical implementation of
this approach, especially when devices and the server communicate over wireless
channels, as it suffers from communication and computation bottlenecks in this
case. By utilizing a communication-efficient framework, we propose a novel
zero-order (ZO) method with a one-point gradient estimator that harnesses the
nature of the wireless communication channel without requiring the knowledge of
the channel state coefficient. It is the first method that includes the
wireless channel in the learning algorithm itself instead of wasting resources
to analyze it and remove its impact. The two main difficulties of this work are
that in FL, the objective function is usually not convex, which makes the
extension of FL to ZO methods challenging, and that including the impact of
wireless channels requires extra attention. However, we overcome these
difficulties and comprehensively analyze the proposed zero-order federated
learning (ZOFL) framework. We establish its convergence theoretically, and we
prove a convergence rate of $O(\frac{1}{\sqrt[3]{K}})$ in the nonconvex
setting. We further demonstrate the potential of our algorithm with
experimental results, taking into account independent and identically
distributed (IID) and non-IID device data distributions.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数のエッジデバイスが生データを開示することなく、協調的にモデルをトレーニングできる、機械学習の新しいアプローチである。
しかし、通信や計算のボトルネックに苦しむため、特にデバイスとサーバが無線チャネルを介して通信する場合、このアプローチの実践的実装を妨げるいくつかの課題がある。
通信効率の高い枠組みを用いて, チャネル状態係数の知識を必要とせず, 無線通信チャネルの性質を利用する一点勾配推定器を用いた新しいゼロオーダー(zo)方式を提案する。
学習アルゴリズム自体に無線チャネルを組み込む最初の方法であり、それを分析し、その影響を取り除くリソースを無駄にしない。
この研究の2つの主な困難は、flでは目的関数が通常凸でないことであり、これにより fl から zo メソッドへの拡張が難しくなり、無線チャネルの影響を含め、追加の注意が要る。
しかし,これらの課題を克服し,提案するゼロ次フェデレート学習(zofl)フレームワークを包括的に分析した。
我々は、その収束を理論的に確立し、非凸設定で $o(\frac{1}{\sqrt[3]{k}})$ の収束率を証明する。
さらに、独立・同一分散(IID)および非IIDデバイスデータ分布を考慮した実験結果により、本アルゴリズムの可能性を示す。
関連論文リスト
- Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。
FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。
本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
論文 参考訳(メタデータ) (2024-09-24T20:57:22Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-01-19T23:25:24Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T08:19:54Z) - Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks [1.9250873974729816]
フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。
保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-05T10:54:38Z) - Fast Federated Learning in the Presence of Arbitrary Device
Unavailability [26.368873771739715]
Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。
ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。
我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
論文 参考訳(メタデータ) (2021-06-08T07:46:31Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z) - Gradient Statistics Aware Power Control for Over-the-Air Federated
Learning [59.40860710441232]
フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。
本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
論文 参考訳(メタデータ) (2020-03-04T14:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。