論文の概要: Fed-ZOE: Communication-Efficient Over-the-Air Federated Learning via Zeroth-Order Estimation

• arxiv url: http://arxiv.org/abs/2412.16779v1
• Date: Sat, 21 Dec 2024 21:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:06.204118
• Title: Fed-ZOE: Communication-Efficient Over-the-Air Federated Learning via Zeroth-Order Estimation
• Title（参考訳）: Fed-ZOE:ゼロ次推定によるコミュニケーション効率の良いオーバーザエア・フェデレーション・ラーニング
• Authors: Jonggyu Jang, Hyeonsu Lyu, David J. Love, Hyun Jong Yang,
• Abstract要約: Fed-ZOEは、ゼロ階最適化(ZOO)で一般的に使用されるランダム化勾配推定器(RGE)にインスパイアされた効率的なフレームワークである。 Fed-ZOEは、通信コストを大幅に削減しながら、Fed-OtAに匹敵するパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 15.026407830543086
• License:
• Abstract: As 6G and beyond networks grow increasingly complex and interconnected, federated learning (FL) emerges as an indispensable paradigm for securely and efficiently leveraging decentralized edge data for AI. By virtue of the superposition property of communication signals, over-the-air FL (OtA-FL) achieves constant communication overhead irrespective of the number of edge devices (EDs). However, training neural networks over the air still incurs substantial communication costs, as the number of transmitted symbols equals the number of trainable parameters. To alleviate this issue, the most straightforward approach is to reduce the number of transmitted symbols by 1) gradient compression and 2) gradient sparsification. Unfortunately, these methods are incompatible with OtA-FL due to the loss of its superposition property. In this work, we introduce federated zeroth-order estimation (Fed-ZOE), an efficient framework inspired by the randomized gradient estimator (RGE) commonly used in zeroth-order optimization (ZOO). In FedZOE, EDs perform local weight updates as in standard FL, but instead of transmitting full gradient vectors, they send compressed local model update vectors in the form of several scalar-valued inner products between the local model update vectors and random vectors. These scalar values enable the parameter server (PS) to reconstruct the gradient using the RGE trick with highly reduced overhead, as well as preserving the superposition property. Unlike conventional ZOO leveraging RGE for step-wise gradient descent, Fed-ZOE compresses local model update vectors before transmission, thereby achieving higher accuracy and computational efficiency. Numerical evaluations using ResNet-18 on datasets such as CIFAR-10, TinyImageNet, SVHN, CIFAR-100, and Brain-CT demonstrate that Fed-ZOE achieves performance comparable to Fed-OtA while drastically reducing communication costs.
• Abstract（参考訳）: 6Gおよびそれ以上のネットワークが複雑で相互接続されるようになるにつれて、AIのための分散エッジデータを安全かつ効率的に活用するために必要なパラダイムとして、連邦学習(FL)が登場します。 通信信号の重ね合わせ特性により、エッジデバイス数(ED)に関係なく、オーバーザエアFL(OtA-FL)は一定の通信オーバーヘッドを達成する。 しかし、伝送シンボルの数とトレーニング可能なパラメータの数とが等しいため、空気中のニューラルネットワークのトレーニングにはかなりの通信コストがかかる。 この問題を緩和するため、最も簡単なアプローチは送信されたシンボルの数を減らすことである。 1)勾配圧縮および勾配圧縮 2)緩やかなスペーサー化。 残念なことに、これらの方法がOtA-FLと相容れないのは、その重ね合わせ特性が失われるためである。 本研究では,0階次最適化(ZOO)によく用いられるランダム化勾配推定器(RGE)にインスパイアされた効率的なフレームワークであるフェデレートゼロ階次推定(Fed-ZOE)を導入する。 FedZOEでは、EDは標準FLのように局所的な重み更新を行うが、完全な勾配ベクトルを送信するのではなく、圧縮された局所モデル更新ベクトルを局所モデル更新ベクトルとランダムベクトルの間のいくつかのスカラー値内積の形で送信する。 これらのスカラー値により、パラメータサーバ(PS)は、高いオーバーヘッドを低減したRGEトリックを用いて勾配を再構築し、重ね合わせ特性を保存することができる。 ステップワイド勾配降下にRGEを利用する従来のZOOとは異なり、Fed-ZOEは送信前のローカルモデル更新ベクトルを圧縮し、より高い精度と計算効率を実現する。 CIFAR-10、TinyImageNet、SVHN、CIFAR-100、Brain-CTなどのデータセット上のResNet-18を用いた数値評価では、Fed-ZOEは通信コストを大幅に削減しつつ、Fed-OtAに匹敵するパフォーマンスを実現している。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Rate Region for Indirect Multiterminal Source Coding in Federated Learning [49.574683687858126]
  多数のエッジデバイスは、ローカルモデルの各ラウンドでアップデートをエッジに送信します。 既存の作品は、異なるエッジによって送信される情報の焦点を活用しない。 本稿では,間接多端音源符号化 fl のレート領域について検討する。
  論文  参考訳（メタデータ） (2021-01-21T16:17:39Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。