Fugu-MT 論文翻訳(概要): Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method

論文の概要: Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method

arxiv url: http://arxiv.org/abs/2401.17460v2
Date: Tue, 23 Jul 2024 15:14:08 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 23:13:09.769153
Title: Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method
Title（参考訳）: 勾配推定器に有用な無線環境のレンダリング:ゼロ階確率的フェデレーション学習法
Authors: Elissa Mhanna, Mohamad Assaad,
Abstract要約: クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
参考スコア（独自算出の注目度）: 14.986031916712108
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Cross-device federated learning (FL) is a growing machine learning setting whereby multiple edge devices collaborate to train a model without disclosing their raw data. With the great number of mobile devices participating in more FL applications via the wireless environment, the practical implementation of these applications will be hindered due to the limited uplink capacity of devices, causing critical bottlenecks. In this work, we propose a novel doubly communication-efficient zero-order (ZO) method with a one-point gradient estimator that replaces communicating long vectors with scalar values and that harnesses the nature of the wireless communication channel, overcoming the need to know the channel state coefficient. It is the first method that includes the wireless channel in the learning algorithm itself instead of wasting resources to analyze it and remove its impact. We then offer a thorough analysis of the proposed zero-order federated learning (ZOFL) framework and prove that our method converges \textit{almost surely}, which is a novel result in nonconvex ZO optimization. We further prove a convergence rate of $O(\frac{1}{\sqrt[3]{K}})$ in the nonconvex setting. We finally demonstrate the potential of our algorithm with experimental results.
Abstract（参考訳）: クロスデバイス・フェデレーション・ラーニング(FL)は成長する機械学習環境であり、複数のエッジデバイスが協力して生データを開示することなくモデルをトレーニングする。多くのモバイルデバイスが無線環境を介してFLアプリケーションに参加しているため、これらのアプリケーションの実践的な実装はデバイスのアップリンク能力の制限によって妨げられ、重大なボトルネックを引き起こします。本研究では,通信の長いベクトルをスカラー値に置き換え,無線通信チャネルの性質を活かし,チャネル状態係数を知る必要性を克服する一点勾配推定器を用いた,二重通信効率のゼロオーダー(ZO)手法を提案する。学習アルゴリズム自体に無線チャネルを組み込む最初の方法であり、それを分析し、その影響を取り除くリソースを無駄にしない。次に、提案したゼロオーダーフェデレーション学習(ZOFL)フレームワークを徹底的に分析し、この手法が非凸ZO最適化の新しい結果であるtextit{almost surely} に収束することを証明した。さらに、非凸設定において$O(\frac{1}{\sqrt[3]{K}})$の収束率を証明する。実験結果により, 最終的にアルゴリズムの可能性を示す。

関連論文リスト

Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。 FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
論文参考訳（メタデータ） (2024-09-24T20:57:22Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Communication-Efficient Device Scheduling for Federated Learning Using Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。本稿では,非効率収束境界アルゴリズムを提案する。また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-01-19T23:25:24Z)
Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-31T08:19:54Z)
Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks [1.9250873974729816]
フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-05T10:54:38Z)
Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
論文参考訳（メタデータ） (2021-06-08T07:46:31Z)
A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文参考訳（メタデータ） (2020-03-18T05:56:27Z)
Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
論文参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。