Fugu-MT 論文翻訳(概要): Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method

論文の概要: Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method

arxiv url: http://arxiv.org/abs/2401.17460v1
Date: Tue, 30 Jan 2024 21:46:09 GMT
ステータス: 処理完了
システム内更新日: 2024-02-01 16:15:59.921445
Title: Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method
Title（参考訳）: 勾配推定に有用な無線環境のレンダリング:ゼロ次確率連関学習法
Authors: Elissa Mhanna and Mohamad Assaad
Abstract要約: フェデレーション・ラーニング(FL)は、機械学習の新しいアプローチであり、複数のエッジデバイスが、生データを開示することなく、協調的にモデルをトレーニングすることができる。チャネル状態の知識を必要とせず、無線通信チャネルの性質を生かした新しいゼロオーダー推定器を提案する。
参考スコア（独自算出の注目度）: 17.704011486040844
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) is a novel approach to machine learning that allows multiple edge devices to collaboratively train a model without disclosing their raw data. However, several challenges hinder the practical implementation of this approach, especially when devices and the server communicate over wireless channels, as it suffers from communication and computation bottlenecks in this case. By utilizing a communication-efficient framework, we propose a novel zero-order (ZO) method with a one-point gradient estimator that harnesses the nature of the wireless communication channel without requiring the knowledge of the channel state coefficient. It is the first method that includes the wireless channel in the learning algorithm itself instead of wasting resources to analyze it and remove its impact. The two main difficulties of this work are that in FL, the objective function is usually not convex, which makes the extension of FL to ZO methods challenging, and that including the impact of wireless channels requires extra attention. However, we overcome these difficulties and comprehensively analyze the proposed zero-order federated learning (ZOFL) framework. We establish its convergence theoretically, and we prove a convergence rate of $O(\frac{1}{\sqrt[3]{K}})$ in the nonconvex setting. We further demonstrate the potential of our algorithm with experimental results, taking into account independent and identically distributed (IID) and non-IID device data distributions.
Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、複数のエッジデバイスが生データを開示することなく、協調的にモデルをトレーニングできる、機械学習の新しいアプローチである。しかし、通信や計算のボトルネックに苦しむため、特にデバイスとサーバが無線チャネルを介して通信する場合、このアプローチの実践的実装を妨げるいくつかの課題がある。通信効率の高い枠組みを用いて, チャネル状態係数の知識を必要とせず, 無線通信チャネルの性質を利用する一点勾配推定器を用いた新しいゼロオーダー(zo)方式を提案する。学習アルゴリズム自体に無線チャネルを組み込む最初の方法であり、それを分析し、その影響を取り除くリソースを無駄にしない。この研究の2つの主な困難は、flでは目的関数が通常凸でないことであり、これにより fl から zo メソッドへの拡張が難しくなり、無線チャネルの影響を含め、追加の注意が要る。しかし,これらの課題を克服し,提案するゼロ次フェデレート学習(zofl)フレームワークを包括的に分析した。我々は、その収束を理論的に確立し、非凸設定で $o(\frac{1}{\sqrt[3]{k}})$ の収束率を証明する。さらに、独立・同一分散(IID)および非IIDデバイスデータ分布を考慮した実験結果により、本アルゴリズムの可能性を示す。

関連論文リスト

Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。 FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
論文参考訳（メタデータ） (2024-09-24T20:57:22Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Communication-Efficient Device Scheduling for Federated Learning Using Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。本稿では,非効率収束境界アルゴリズムを提案する。また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-01-19T23:25:24Z)
Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-31T08:19:54Z)
Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks [1.9250873974729816]
フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-05T10:54:38Z)
Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
論文参考訳（メタデータ） (2021-06-08T07:46:31Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)
Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
論文参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。