論文の概要: Peer-to-Peer Deep Learning for Beyond-5G IoT

• arxiv url: http://arxiv.org/abs/2310.18861v1
• Date: Sun, 29 Oct 2023 01:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:08:35.426032
• Title: Peer-to-Peer Deep Learning for Beyond-5G IoT
• Title（参考訳）: 5G IoTを越えたピアツーピアディープラーニング
• Authors: Srinivasa Pranav and Jos\'e M. F. Moura
• Abstract要約: P2PLは、エッジサーバやクラウドからの調整を必要としないマルチデバイスピアツーピアディープラーニングアルゴリズムである。 これにより、P2PLはスマートシティのような5G以上のコンピューティング環境に適している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present P2PL, a practical multi-device peer-to-peer deep learning algorithm that, unlike the federated learning paradigm, does not require coordination from edge servers or the cloud. This makes P2PL well-suited for the sheer scale of beyond-5G computing environments like smart cities that otherwise create range, latency, bandwidth, and single point of failure issues for federated approaches. P2PL introduces max norm synchronization to catalyze training, retains on-device deep model training to preserve privacy, and leverages local inter-device communication to implement distributed consensus. Each device iteratively alternates between two phases: 1) on-device learning and 2) distributed cooperation where they combine model parameters with nearby devices. We empirically show that all participating devices achieve the same test performance attained by federated and centralized training -- even with 100 devices and relaxed singly stochastic consensus weights. We extend these experimental results to settings with diverse network topologies, sparse and intermittent communication, and non-IID data distributions.
• Abstract（参考訳）: P2PLは,フェデレーション学習パラダイムとは異なり,エッジサーバやクラウドからの調整を必要としない,実用的なマルチデバイスピアツーピア深層学習アルゴリズムである。 これにより、P2PLは、範囲、レイテンシ、帯域幅、フェデレートされたアプローチの単一障害点を生成するスマートシティのような、5Gを超えるコンピューティング環境に適しています。 P2PLはトレーニングを触媒する最大ノルム同期を導入し、プライバシを保護するためにデバイス上でのディープモデルトレーニングを維持し、ローカルデバイス間通信を活用して分散コンセンサスを実装する。 各デバイスは2つのフェーズを反復的に交代する。 1)オンデバイス学習と 2) モデルパラメータを周辺機器と組み合わせた分散協調。 すべての参加デバイスが、フェデレートされた集中的なトレーニングによって達成された同じテストパフォーマンスを達成することを実証的に示しています。 これらの実験結果を、ネットワークトポロジー、スパースおよび断続的な通信、非iidデータ分布を含む設定に拡張する。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Peer-to-Peer Learning + Consensus with Non-IID Data [0.0]
  ピアツーピアのディープラーニングアルゴリズムにより、分散エッジデバイスは、生のトレーニングデータを交換したり、中央サーバーに依存することなく、ディープニューラルネットワークを協調的にトレーニングすることができる。 モデルドリフトが局所訓練およびコンセンサスフェーズ後の試験性能に有意な振動をもたらすことを観察した。 次に、性能振動を増幅する要因を特定し、新たなアプローチであるAffinityを用いたP2PLが、追加の通信コストを発生させることなく、非IID環境での試験性能振動を減衰させることを示した。
  論文  参考訳（メタデータ） (2023-12-21T06:28:02Z)
• FedDCT: Federated Learning of Large Convolutional Neural Networks on Resource Constrained Devices using Divide and Collaborative Training [13.072061144206097]
  我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。 我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。 他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
  論文  参考訳（メタデータ） (2022-11-20T11:11:56Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling [9.976132745670458]
  フェデレートラーニングは、ネットワークエッジにモデルトレーニングを分散する一般的なテクニックとして登場した。 本稿では,デバイス間通信(D2D)を介して,より分散したトポロジに移行する2つの時間スケールハイブリッド・フェデレーション・ラーニング(TT-HF)を提案する。 TT-HFにより得られる収束と利用の改善を,最先端のフェデレーション学習ベースラインに対して実証した。
  論文  参考訳（メタデータ） (2021-09-07T21:48:17Z)
• Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks [61.30171206892684]
  ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。 異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
  論文  参考訳（メタデータ） (2020-07-18T20:03:07Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。