Fugu-MT 論文翻訳(概要): Mixed-Precision Over-The-Air Federated Learning via Approximated Computing

論文の概要: Mixed-Precision Over-The-Air Federated Learning via Approximated Computing

arxiv url: http://arxiv.org/abs/2406.03402v1
Date: Tue, 4 Jun 2024 09:07:45 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 17:31:45.578430
Title: Mixed-Precision Over-The-Air Federated Learning via Approximated Computing
Title（参考訳）: 近似計算による混合精度オーバーザエアフェデレーション学習
Authors: Jinsheng Yuan, Zhuangkun Wei, Weisi Guo,
Abstract要約: OTA-FL(Over-the-Air Federated Learning)は,プライバシ保護型分散学習機構として広く研究されている。既存のOTA-FL研究における重要な研究ギャップは、均質なクライアント計算ビット精度の仮定である。本稿では、複数の精度を持つクライアントのAxCベースのOTA-FLフレームワークを提案する。
参考スコア（独自算出の注目度）: 9.066232763629513
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Over-the-Air Federated Learning (OTA-FL) has been extensively investigated as a privacy-preserving distributed learning mechanism. Realistic systems will see FL clients with diverse size, weight, and power configurations. A critical research gap in existing OTA-FL research is the assumption of homogeneous client computational bit precision. Indeed, many clients may exploit approximate computing (AxC) where bit precisions are adjusted for energy and computational efficiency. The dynamic distribution of bit precision updates amongst FL clients poses an open challenge for OTA-FL, as is is incompatible in the wireless modulation superposition space. Here, we propose an AxC-based OTA-FL framework of clients with multiple precisions, demonstrating the following innovations: (i) optimize the quantization-performance trade-off for both server and clients within the constraints of varying edge computing capabilities and learning accuracy requirements, and (ii) develop heterogeneous gradient resolution OTA-FL modulation schemes to ensure compatibility with physical layer OTA aggregation. Our findings indicate that we can design modulation schemes that enable AxC based OTA-FL, which can achieve 50\% faster and smoother server convergence and a performance enhancement for the lowest precision clients compared to a homogeneous precision approach. This demonstrates the great potential of our AxC-based OTA-FL approach in heterogeneous edge computing environments.
Abstract（参考訳）: OTA-FL(Over-the-Air Federated Learning)は,プライバシ保護型分散学習機構として広く研究されている。現実的なシステムでは、FLクライアントのサイズ、重量、電力構成が多様になる。既存のOTA-FL研究における重要な研究ギャップは、均質なクライアント計算ビット精度の仮定である。実際、多くのクライアントは、ビット精度をエネルギーと計算効率に調整する近似計算(AxC)を利用することができる。 FLクライアント間のビット精度更新の動的分布は、無線変調重畳空間では互換性がないため、OTA-FLにとってオープンな課題となる。本稿では,複数の精度のクライアントを対象としたAxCベースのOTA-FLフレームワークを提案する。一各種エッジコンピューティング能力及び学習精度要件の制約の中で、サーバとクライアントの量子化性能トレードオフを最適化し、 2) 物理層OTAアグリゲーションとの整合性を確保するため, 不均一勾配分解能OTA-FL変調法を開発した。その結果,AxCをベースとしたOTA-FLを50倍高速かつスムーズなサーバコンバージェンスを実現し,一様精度のアプローチに比べて低精度クライアントの性能向上を図ることが可能であることが示唆された。これは、異種エッジコンピューティング環境におけるAxCベースのOTA-FLアプローチの大きな可能性を示している。

関連論文リスト

Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning [43.10083248484161]
パーソナライズド・フェデレーション・ラーニング(PFL)における不確かさの定量化本稿では,グローバルな決定論的モデルとパーソナライズされた低ランクベイズ補正を学習する新しいBPFL法であるLR-BPFLを提案する。我々は、LR-BPFLを様々なデータセットで評価し、キャリブレーション、精度、計算およびメモリ要求の観点からその利点を実証した。
論文参考訳（メタデータ） (2024-10-18T11:50:54Z)
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
論文参考訳（メタデータ） (2024-08-11T02:59:11Z)
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文参考訳（メタデータ） (2024-05-20T06:12:33Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer [42.19443600254834]
本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。 FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
論文参考訳（メタデータ） (2023-06-27T10:00:06Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文参考訳（メタデータ） (2023-02-13T19:00:37Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文参考訳（メタデータ） (2022-01-07T20:17:33Z)
Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
論文参考訳（メタデータ） (2020-07-28T17:35:39Z)
Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
論文参考訳（メタデータ） (2020-07-20T12:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。