論文の概要: Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping

• arxiv url: http://arxiv.org/abs/2305.11135v1
• Date: Thu, 18 May 2023 17:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 13:38:48.245178
• Title: Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping
• Title（参考訳）: クリッピングによる圧縮・電力制御を伴う空気上flの収束解析
• Authors: Haifeng Wen, Hong Xing, and Osvaldo Simeone
• Abstract要約: 通常のクリッピングに基づくAirFLの開発に2つの貢献をしている。 まず、一般的なスムーズな学習目的に適用可能なAirFLClipの収束バウンダリを提供する。 第2に,AirFL-Clip-Compを拡張して,Top-kスカラー化と線形圧縮を実現した。
• 参考スコア（独自算出の注目度）: 30.958677272798617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the key challenges towards the deployment of over-the-air federated learning (AirFL) is the design of mechanisms that can comply with the power and bandwidth constraints of the shared channel, while causing minimum deterioration to the learning performance as compared to baseline noiseless implementations. For additive white Gaussian noise (AWGN) channels with instantaneous per-device power constraints, prior work has demonstrated the optimality of a power control mechanism based on norm clipping. This was done through the minimization of an upper bound on the optimality gap for smooth learning objectives satisfying the Polyak-{\L}ojasiewicz (PL) condition. In this paper, we make two contributions to the development of AirFL based on norm clipping, which we refer to as AirFL-Clip. First, we provide a convergence bound for AirFLClip that applies to general smooth and non-convex learning objectives. Unlike existing results, the derived bound is free from run-specific parameters, thus supporting an offline evaluation. Second, we extend AirFL-Clip to include Top-k sparsification and linear compression. For this generalized protocol, referred to as AirFL-Clip-Comp, we derive a convergence bound for general smooth and non-convex learning objectives. We argue, and demonstrate via experiments, that the only time-varying quantities present in the bound can be efficiently estimated offline by leveraging the well-studied properties of sparse recovery algorithms.
• Abstract（参考訳）: オーバー・ザ・エア・フェデレート・ラーニング(AirFL)の展開における重要な課題の1つは、ベースラインのノイズレス実装と比較して学習性能が最小限に低下する一方で、共有チャネルの電力と帯域幅の制約を満たす機構の設計である。 デバイス毎の電力制約を瞬時に制約する付加的な白色ガウスノイズ(AWGN)チャネルに対して、先行研究はノルムクリッピングに基づく電力制御機構の最適性を実証した。 これは polyak-{\l}ojasiewicz (pl) 条件を満たす滑らかな学習対象に対する最適性ギャップの上界の最小化によって達成された。 本稿では,通常のクリッピングに基づくAirFLの開発に2つの貢献を行い,これをAirFL-Clipと呼ぶ。 まず,一般にスムーズな学習目的と非凸学習目的に適用されるAirFLClipの収束バウンダリを提供する。 既存の結果とは異なり、派生バウンドは実行固有のパラメータを含まないため、オフライン評価をサポートする。 第2に、AirFL-Clipを拡張して、Top-kスペーシフィケーションと線形圧縮を含む。 この一般化されたプロトコルは、AirFL-Clip-Compと呼ばれ、一般的な滑らかで非凸な学習目的に対する収束を導出する。 我々は,境界に存在する時間変化量のみを,スパースリカバリアルゴリズムのよく研究された特性を活用し,オフラインで効率的に推定できることを示す。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
  ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。 本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。 FLAREが一貫してベースラインを上回っている実験。
  論文  参考訳（メタデータ） (2024-04-23T07:48:17Z)
• AirFL-Mem: Improving Communication-Learning Trade-Off by Long-Term Memory [37.43361910009644]
  本研究では,長期記憶機構を実装することでフェージングを緩和する新しいスキームであるAirFL-Memを提案する。 また, フェードチャネルの存在下での電力制御に使用されるトラクションしきい値に対して, 新たな凸最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:51:38Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control [30.7130850260223]
  本稿では,オーバー・ザ・エア・コンピューティング・ラーニング(OTA-FL)について考察する。 OTA-FLは、無線媒体の重ね合わせ特性を利用して、空気上のアグリゲーションを無料で行う。
  論文  参考訳（メタデータ） (2022-05-12T03:28:03Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。