論文の概要: Efficient Adaptive Federated Optimization of Federated Learning for IoT
- arxiv url: http://arxiv.org/abs/2206.11448v1
- Date: Thu, 23 Jun 2022 01:49:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 12:39:10.052272
- Title: Efficient Adaptive Federated Optimization of Federated Learning for IoT
- Title（参考訳）: iot用フェデレーション学習の効率的な適応フェデレーション最適化
- Authors: Zunming Chen, Hongyan Cui, Ensen Wu, Yu Xi
- Abstract要約: 本稿では、フェデレート学習(FL)の効率を改善するために、新しい適応型適応型最適化(EAFO)アルゴリズムを提案する。
FLは分散プライバシ保護学習フレームワークで、モデルパラメータを共有することで、IoTデバイスがグローバルモデルをトレーニングできる。
実験の結果,提案したEAFOはより高速に精度を向上できることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of the Internet of Things (IoT) and widespread use of
devices with sensing, computing, and communication capabilities have motivated
intelligent applications empowered by artificial intelligence. The classical
artificial intelligence algorithms require centralized data collection and
processing which are challenging in realistic intelligent IoT applications due
to growing data privacy concerns and distributed datasets. Federated Learning
(FL) has emerged as a distributed privacy-preserving learning framework that
enables IoT devices to train global model through sharing model parameters.
However, inefficiency due to frequent parameters transmissions significantly
reduce FL performance. Existing acceleration algorithms consist of two main
type including local update considering trade-offs between communication and
computation and parameter compression considering trade-offs between
communication and precision. Jointly considering these two trade-offs and
adaptively balancing their impacts on convergence have remained unresolved. To
solve the problem, this paper proposes a novel efficient adaptive federated
optimization (EAFO) algorithm to improve efficiency of FL, which minimizes the
learning error via jointly considering two variables including local update and
parameter compression and enables FL to adaptively adjust the two variables and
balance trade-offs among computation, communication and precision. The
experiment results illustrate that comparing with state-of-the-art algorithms,
the proposed EAFO can achieve higher accuracies faster.
- Abstract（参考訳）: IoT(Internet of Things)の普及と、センサー、コンピューティング、通信機能を備えたデバイスの普及は、人工知能によって強化されたインテリジェントなアプリケーションを動機付けている。
古典的な人工知能アルゴリズムは、データプライバシの懸念と分散データセットの増加により、現実的なインテリジェントなIoTアプリケーションでは困難な、集中的なデータ収集と処理を必要とする。
フェデレートラーニング(FL)は、IoTデバイスがモデルパラメータを共有することでグローバルモデルのトレーニングを可能にする分散プライバシ保護学習フレームワークとして登場した。
しかし、頻繁なパラメータ伝達による不効率はFL性能を著しく低下させる。
既存の加速度アルゴリズムは、通信と計算の間のトレードオフを考慮したローカル更新と、通信と精度の間のトレードオフを考慮したパラメータ圧縮の2つの主型からなる。
これら2つのトレードオフを共同で考慮し、収束への影響を適応的にバランスさせることは未解決のままである。
そこで本研究では,局所的な更新とパラメータ圧縮を含む2変数を共同で検討することにより,学習誤差を最小化し,計算,通信,精度の両変数を適応的に調整し,トレードオフのバランスをとることにより,FLの効率を向上する新しい適応型フェデレーション最適化(EAFO)アルゴリズムを提案する。
実験結果は、最先端のアルゴリズムと比較すると、提案したEAFOはより高速な精度を実現することができることを示している。
関連論文リスト
- Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration [17.589308358508863]
我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
論文 参考訳（メタデータ） (2024-05-16T17:27:41Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-29T12:39:23Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。
スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。
シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
論文 参考訳（メタデータ） (2021-03-30T03:50:31Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。