Fugu-MT 論文翻訳(概要): Biased Federated Learning under Wireless Heterogeneity

論文の概要: Biased Federated Learning under Wireless Heterogeneity

arxiv url: http://arxiv.org/abs/2503.06078v1
Date: Sat, 08 Mar 2025 05:55:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:45:06.418761
Title: Biased Federated Learning under Wireless Heterogeneity
Title（参考訳）: 無線不均一性を考慮したバイアス付きフェデレーション学習
Authors: Muhammad Faraz Ul Abrar, Nicolò Michelusi,
Abstract要約: Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。本稿では,新しいOTAおよびデジタルFL更新を提案する。
参考スコア（独自算出の注目度）: 7.3716675761469945
License:
Abstract: Federated learning (FL) has emerged as a promising framework for distributed learning, enabling collaborative model training without sharing private data. Existing wireless FL works primarily adopt two communication strategies: (1) over-the-air (OTA) computation, which exploits wireless signal superposition for simultaneous gradient aggregation, and (2) digital communication, which allocates orthogonal resources for gradient uploads. Prior works on both schemes typically assume \emph{homogeneous} wireless conditions (equal path loss across devices) to enforce zero-bias updates or permit uncontrolled bias, resulting in suboptimal performance and high-variance model updates in \emph{heterogeneous} environments, where devices with poor channel conditions slow down convergence. This paper addresses FL over heterogeneous wireless networks by proposing novel OTA and digital FL updates that allow a structured, time-invariant model bias, thereby reducing variance in FL updates. We analyze their convergence under a unified framework and derive an upper bound on the model ``optimality error", which explicitly quantifies the effect of bias and variance in terms of design parameters. Next, to optimize this trade-off, we study a non-convex optimization problem and develop a successive convex approximation (SCA)-based framework to jointly optimize the design parameters. We perform extensive numerical evaluations with several related design variants and state-of-the-art OTA and digital FL schemes. Our results confirm that minimizing the bias-variance trade-off while allowing a structured bias provides better FL convergence performance than existing schemes.
Abstract（参考訳）: 分散学習のための有望なフレームワークとしてフェデレートラーニング(FL)が登場し、プライベートデータを共有せずに協調的なモデルトレーニングを可能にした。既存の無線FLは,(1)オーバ・ザ・エア(OTA)計算と(2)グラデーションアップロードのための直交資源を割り当てるデジタル通信という2つの通信戦略を主に採用している。両スキームの先行研究は、通常、ゼロバイアス更新を強制したり、制御不能なバイアスを許すために 'emph{homogeneous' 無線条件(デバイス間での経路損失)を仮定し、その結果、低チャネル条件のデバイスが収束を遅くする \emph{heterogeneous' 環境において、準最適性能と高分散モデル更新をもたらす。本稿では、新しいOTAとデジタルFLの更新を提案し、FLのモデルバイアスを構造化し、FL更新のばらつきを低減することで、異種無線ネットワーク上のFLに対処する。我々は、統一された枠組みの下でそれらの収束を分析し、設計パラメータの観点からバイアスと分散の影響を明示的に定量化するモデル「最適誤差」の上界を導出する。次に、このトレードオフを最適化するために、非凸最適化問題を調査し、設計パラメータを協調的に最適化するための連続凸近似(SCA)ベースのフレームワークを開発する。我々は、いくつかの関連する設計の変種と最先端のOTAおよびデジタルFLスキームを用いて、広範囲な数値評価を行う。構造バイアスを許容しながらバイアス分散トレードオフを最小限に抑えることにより,既存のスキームよりもFL収束性能が向上することを確認した。

関連論文リスト

Biased Over-the-Air Federated Learning under Wireless Heterogeneity [7.3716675761469945]
OTAデバイスプリスケーラの設計について,OTA-FL収束に着目して検討した。最小ノイズ分散と最小ノイズ分散ゼロバイアス解の2つの解を同定する。
論文参考訳（メタデータ） (2024-03-28T21:52:15Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文参考訳（メタデータ） (2022-09-21T08:52:51Z)
Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-29T12:39:23Z)
Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文参考訳（メタデータ） (2021-12-27T22:30:15Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。