論文の概要: Mixed-Precision Federated Learning via Multi-Precision Over-The-Air Aggregation

• arxiv url: http://arxiv.org/abs/2406.03402v2
• Date: Wed, 16 Oct 2024 10:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:29.551250
• Title: Mixed-Precision Federated Learning via Multi-Precision Over-The-Air Aggregation
• Title（参考訳）: マルチ精度オーバーザエアアグリゲーションによる混合精度フェデレーション学習
• Authors: Jinsheng Yuan, Zhuangkun Wei, Weisi Guo,
• Abstract要約: 複数のビット精度を持つクライアントの混合精度OTA-FLフレームワークを提案する。 32ビットと16ビットの同種標準精度と比較して、4ビット超低精度クライアントの性能は10%以上である。 これは、異種エッジコンピューティング環境における混合精度OTA-FLアプローチの大きな可能性を示している。
• 参考スコア（独自算出の注目度）: 9.066232763629513
• License:
• Abstract: Over-the-Air Federated Learning (OTA-FL) is a privacy-preserving distributed learning mechanism, by aggregating updates in the electromagnetic channel rather than at the server. A critical research gap in existing OTA-FL research is the assumption of homogeneous client computational bit precision. While in real world application, clients with varying hardware resources may exploit approximate computing (AxC) to operate at different bit precisions optimized for energy and computational efficiency. And model updates of various precisions amongst clients poses an open challenge for OTA-FL, as it is incompatible in the wireless modulation superposition. Here, we propose an mixed-precision OTA-FL framework of clients with multiple bit precisions, demonstrating the following innovations: (i) the superior trade-off for both server and clients within the constraints of varying edge computing capabilities, energy efficiency, and learning accuracy requirements comparing to homogeneous client bit precision, and (ii) a multi-precision gradient modulation scheme to ensure compatibility with OTA aggregation and eliminate the overheads of precision conversion. Through case study with real world data, we validate our modulation scheme that enables AxC based mixed-precision OTA-FL. In comparison to homogeneous standard precision of 32-bit and 16-bit, our framework presents more than 10% in 4-bit ultra low precision client performance and over 65%and 13% of energy savings respectively. This demonstrates the great potential of our mixed-precision OTA-FL approach in heterogeneous edge computing environments.
• Abstract（参考訳）: Over-the-Air Federated Learning (OTA-FL)は、サーバではなく、電磁チャネルの更新を集約することで、プライバシを保存する分散学習メカニズムである。 既存のOTA-FL研究における重要な研究ギャップは、均質なクライアント計算ビット精度の仮定である。 現実世界のアプリケーションでは、様々なハードウェアリソースを持つクライアントは、エネルギーと計算効率に最適化された異なるビット精度で、近似計算(AxC)を利用することができる。 また、クライアント間の様々な精度のモデル更新は、無線変調重畳において互換性がないため、OTA-FLにとってオープンな課題となる。 本稿では、複数のビット精度を持つクライアントの混合精度OTA-FLフレームワークを提案する。 一 各種エッジコンピューティング能力、エネルギー効率、等質なクライアントビット精度と比較しての学習精度要件の制約の中で、サーバとクライアントの双方にとって優れたトレードオフ (2) OTAアグリゲーションとの整合性を確保し、精度変換のオーバーヘッドをなくすマルチ精度勾配変調方式。 実世界のデータを用いたケーススタディを通じて、AxCベースの混合精度OTA-FLを可能にする変調方式を検証する。 また,32ビットと16ビットの同種標準精度と比較すると,4ビット超低精度クライアントの性能は10%以上,省エネ性能は65%以上,省エネ性能は13%以上である。 これは、異種エッジコンピューティング環境における混合精度OTA-FLアプローチの大きな可能性を示している。

関連論文リスト

• Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning [43.10083248484161]
  パーソナライズド・フェデレーション・ラーニング(PFL)における不確かさの定量化 本稿では,グローバルな決定論的モデルとパーソナライズされた低ランクベイズ補正を学習する新しいBPFL法であるLR-BPFLを提案する。 我々は、LR-BPFLを様々なデータセットで評価し、キャリブレーション、精度、計算およびメモリ要求の観点からその利点を実証した。
  論文  参考訳（メタデータ） (2024-10-18T11:50:54Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer [42.19443600254834]
  本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。 FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。 代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
  論文  参考訳（メタデータ） (2023-06-27T10:00:06Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
  フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。 本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
  論文  参考訳（メタデータ） (2020-07-28T17:35:39Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。