論文の概要: Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique

• arxiv url: http://arxiv.org/abs/2409.16456v1
• Date: Tue, 24 Sep 2024 20:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:21:10.141135
• Title: Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique
• Title（参考訳）: ゼロ次最適化手法を用いたコミュニケーションとエネルギー効率の良いフェデレーション学習
• Authors: Elissa Mhanna, Mohamad Assaad,
• Abstract要約: Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。 FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。 本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
• 参考スコア（独自算出の注目度）: 14.986031916712108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a popular machine learning technique that enables multiple users to collaboratively train a model while maintaining the user data privacy. A significant challenge in FL is the communication bottleneck in the upload direction, and thus the corresponding energy consumption of the devices, attributed to the increasing size of the model/gradient. In this paper, we address this issue by proposing a zero-order (ZO) optimization method that requires the upload of a quantized single scalar per iteration by each device instead of the whole gradient vector. We prove its theoretical convergence and find an upper bound on its convergence rate in the non-convex setting, and we discuss its implementation in practical scenarios. Our FL method and the corresponding convergence analysis take into account the impact of quantization and packet dropping due to wireless errors. We show also the superiority of our method, in terms of communication overhead and energy consumption, as compared to standard gradient-based FL methods.
• Abstract（参考訳）: Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。 FLにおける重要な課題は、アップロード方向の通信ボトルネックであり、従って、モデル/勾配の増大による機器のエネルギー消費が増加することである。 本稿では,全勾配ベクトルではなく,各デバイス毎の量子化された単一スカラーのアップロードを必要とするゼロオーダー最適化手法を提案する。 我々は、その理論収束性を証明し、非凸設定における収束率の上限を見つけ、実践シナリオにおいてその実装について議論する。 我々のFL法とそれに対応する収束解析は、無線エラーによる量子化とパケットドロップの影響を考慮に入れている。 また,通信オーバヘッドやエネルギー消費の観点から,標準勾配に基づくFL法と比較して,本手法の優位性を示す。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
  クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。 学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
  論文  参考訳（メタデータ） (2024-01-30T21:46:09Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。