論文の概要: Timely Parameter Updating in Over-the-Air Federated Learning

• arxiv url: http://arxiv.org/abs/2512.19103v1
• Date: Mon, 22 Dec 2025 07:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.653333
• Title: Timely Parameter Updating in Over-the-Air Federated Learning
• Title（参考訳）: オーバー・ザ・エア・フェデレーション学習における時間的パラメータ更新
• Authors: Jiaqi Zhu, Zhongyuan Zhao, Xiao Li, Ruihao Du, Shi Jin, Howard H. Yang,
• Abstract要約: 我々は,各通信ラウンドにおいて,最も影響のある勾配のサブセットを選択するアルゴリズムであるフレッシュネス・フレッシュネス・mAgnItude awaRe top-k (FAIR-k)を提案する。 本研究では,FAIR-kが新たな(かつ公平な)パラメータの更新を促進し,局所訓練期間を延長することで,全体の訓練効率に大きな影響を及ぼすことなく通信効率を向上させることを示す。
• 参考スコア（独自算出の注目度）: 45.5660377179285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating over-the-air computations (OAC) into the model training process of federated learning (FL) is an effective approach to alleviating the communication bottleneck in FL systems. Under OAC-FL, every client modulates its intermediate parameters, such as gradient, onto the same set of orthogonal waveforms and simultaneously transmits the radio signal to the edge server. By exploiting the superposition property of multiple-access channels, the edge server can obtain an automatically aggregated global gradient from the received signal. However, the limited number of orthogonal waveforms available in practical systems is fundamentally mismatched with the high dimensionality of modern deep learning models. To address this issue, we propose Freshness Freshness-mAgnItude awaRe top-k (FAIR-k), an algorithm that selects, in each communication round, the most impactful subset of gradients to be updated over the air. In essence, FAIR-k combines the complementary strengths of the Round-Robin and Top-k algorithms, striking a delicate balance between timeliness (freshness of parameter updates) and importance (gradient magnitude). Leveraging tools from Markov analysis, we characterize the distribution of parameter staleness under FAIR-k. Building on this, we establish the convergence rate of OAC-FL with FAIR-k, which discloses the joint effect of data heterogeneity, channel noise, and parameter staleness on the training efficiency. Notably, as opposed to conventional analyses that assume a universal Lipschitz constant across all the clients, our framework adopts a finer-grained model of the data heterogeneity. The analysis demonstrates that since FAIR-k promotes fresh (and fair) parameter updates, it not only accelerates convergence but also enhances communication efficiency by enabling an extended period of local training without significantly affecting overall training efficiency.
• Abstract（参考訳）: FL(Federated Learning)のモデルトレーニングプロセスにOAC(Over-the-air calculations)を組み込むことは、FLシステムの通信ボトルネックを軽減するための効果的なアプローチである。 OAC-FLでは、各クライアントは勾配などの中間パラメータを同じ直交波形に変調し、同時に無線信号をエッジサーバに送信する。 エッジサーバは、マルチアクセスチャネルの重ね合わせ特性を利用して、受信した信号から自動的に集約されたグローバル勾配を得ることができる。 しかし、実用システムで利用可能な直交波形の限られた数は、現代のディープラーニングモデルの高次元性と根本的に一致していない。 この問題に対処するために、各通信ラウンドにおいて、最も影響の大きい勾配のサブセットを空中更新するアルゴリズムであるFreshness Freshness-mAgnItude awaRe top-k (FAIR-k)を提案する。 本質的に、FAIR-kはラウンドロビンアルゴリズムとトップkアルゴリズムの相補的な長所を結合し、タイムライン(パラメータ更新の鮮度)と重要度(漸次等級)の微妙なバランスをとっています。 マルコフ解析から得られたツールを用いて,FAIR-k下でのパラメータの安定度分布を特徴付ける。 そこで我々は,データの不均一性,チャネルノイズ,パラメータ安定化がトレーニング効率に与える影響を明らかにするために,OAC-FLとFAIR-kの収束率を確立する。 特に、すべてのクライアントで普遍的なリプシッツ定数を仮定する従来の分析とは対照的に、我々のフレームワークはデータの不均一性のよりきめ細かいモデルを採用する。 この分析は、FAIR-kが新しい(かつ公平な)パラメータの更新を促進するため、収束を加速するだけでなく、総合的なトレーニング効率に大きな影響を及ぼすことなく、局所的なトレーニングの延長を可能にすることにより、コミュニケーション効率も向上することを示した。

関連論文リスト

• Optimal Transceiver Design in Over-the-Air Federated Distillation [34.09979141255862]
  本研究では,学習収束率と電力制約の観点から,トランシーバ設計について検討する。 そこで本研究では,空気上凝集に対する最適受信ビームベクトルの探索手法を提案する。 その結果, 提案手法は, 精度をわずかに損なうことなく, 通信の大幅な削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-07-21T05:37:08Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。