論文の概要: Non-Convex Over-the-Air Heterogeneous Federated Learning: A Bias-Variance Trade-off

• arxiv url: http://arxiv.org/abs/2510.26722v3
• Date: Thu, 06 Nov 2025 17:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 13:46:06.471735
• Title: Non-Convex Over-the-Air Heterogeneous Federated Learning: A Bias-Variance Trade-off
• Title（参考訳）: 非凸オーバーザエアヘテロジニアスフェデレーション学習:バイアス分散トレードオフ
• Authors: Muhammad Faraz Ul Abrar, Nicolò Michelusi,
• Abstract要約: OTA(Over-the-air Convex Learning)は、無線マルチアクセスチャネルの重畳を利用して更新をモデル化するスケーラブルなパラダイムとして認識されている。 OTAFL SGD の新たな更新手法を開発した。
• 参考スコア（独自算出の注目度）: 6.832750677765499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over-the-air (OTA) federated learning (FL) has been well recognized as a scalable paradigm that exploits the waveform superposition of the wireless multiple-access channel to aggregate model updates in a single use. Existing OTA-FL designs largely enforce zero-bias model updates by either assuming \emph{homogeneous} wireless conditions (equal path loss across devices) or forcing zero-bias updates to guarantee convergence. Under \emph{heterogeneous} wireless scenarios, however, such designs are constrained by the weakest device and inflate the update variance. Moreover, prior analyses of biased OTA-FL largely address convex objectives, while most modern AI models are highly non-convex. Motivated by these gaps, we study OTA-FL with stochastic gradient descent (SGD) for general smooth non-convex objectives under wireless heterogeneity. We develop novel OTA-FL SGD updates that allow a structured, time-invariant model bias while facilitating reduced variance updates. We derive a finite-time stationarity bound (expected time average squared gradient norm) that explicitly reveals a bias-variance trade-off. To optimize this trade-off, we pose a non-convex joint OTA power-control design and develop an efficient successive convex approximation (SCA) algorithm that requires only statistical CSI at the base station. Experiments on a non-convex image classification task validate the approach: the SCA-based design accelerates convergence via an optimized bias and improves generalization over prior OTA-FL baselines.
• Abstract（参考訳）: オーバー・ザ・エア(OTA)フェデレーションラーニング(FL)は、無線マルチアクセスチャネルの波形重畳を利用してモデル更新を単一の用途で集約するスケーラブルなパラダイムとして認識されている。 既存のOTA-FLの設計では、emph{homogeneous} 無線条件(デバイス間での経路損失)を仮定するか、あるいは収束を保証するためにゼロバイアス更新を強制することによって、主にゼロバイアスモデルの更新を強制している。 しかし、emph{heterogeneous} 無線のシナリオでは、そのような設計は最も弱いデバイスによって制約され、更新のばらつきを増大させる。 さらに、偏りのあるOTA-FLの事前解析は、ほとんどの現代のAIモデルは、非常に非凸であるのに対して、主に凸目標に対処する。 これらのギャップにより, 無線不均一条件下での一般的な滑らかな非凸対象に対する確率勾配勾配勾配(SGD)を用いたOTA-FLについて検討した。 OTA-FL SGD 更新を新たに開発し,構造的かつ時間的不変なモデルバイアスを実現するとともに,分散の低減を図る。 有限時間定常性境界(予測時間平均2乗勾配ノルム)を導出し、バイアス分散トレードオフを明確に明らかにする。 このトレードオフを最適化するために,非凸連系OTA電力制御設計を適用し,基地局での統計的CSIのみを必要とする効率的な連続凸近似(SCA)アルゴリズムを開発した。 SCAベースの設計は、最適化されたバイアスによって収束を加速し、以前のOTA-FLベースラインよりも一般化を改善する。

関連論文リスト

• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Harnessing Optimization Dynamics for Curvature-Informed Model Merging [17.42364575754576]
  教師付き微調整では、複数の機能ベースのSFTチェックポイントを1つのモデルに統合する必要がある。 我々は、最適化トラジェクトリ・アウェア(OTA)マージと高速フィッシャーグラフティング(FFG)を導入する。 OTA+FFGは、強力な重量空間ベースラインよりもマージモデルの品質を改善し、負の転送を低減し、スパーシティレベルにわたって堅牢である。
  論文  参考訳（メタデータ） (2025-09-14T08:59:53Z)
• Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
  Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。 閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。 LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
  論文  参考訳（メタデータ） (2025-07-13T09:14:17Z)
• Biased Federated Learning under Wireless Heterogeneity [7.3716675761469945]
  Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。 既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。 本稿では,新しいOTAおよびデジタルFL更新を提案する。
  論文  参考訳（メタデータ） (2025-03-08T05:55:14Z)
• Biased Over-the-Air Federated Learning under Wireless Heterogeneity [7.3716675761469945]
  OTAデバイスプリスケーラの設計について,OTA-FL収束に着目して検討した。 最小ノイズ分散と最小ノイズ分散ゼロバイアス解の2つの解を同定する。
  論文  参考訳（メタデータ） (2024-03-28T21:52:15Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control [30.7130850260223]
  本稿では,オーバー・ザ・エア・コンピューティング・ラーニング(OTA-FL)について考察する。 OTA-FLは、無線媒体の重ね合わせ特性を利用して、空気上のアグリゲーションを無料で行う。
  論文  参考訳（メタデータ） (2022-05-12T03:28:03Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。