論文の概要: Decentralised Resource Sharing in TinyML: Wireless Bilayer Gossip Parallel SGD for Collaborative Learning

• arxiv url: http://arxiv.org/abs/2501.04817v1
• Date: Wed, 08 Jan 2025 20:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:20.076995
• Title: Decentralised Resource Sharing in TinyML: Wireless Bilayer Gossip Parallel SGD for Collaborative Learning
• Title（参考訳）: TinyMLにおける分散リソース共有: 協調学習のための無線二層ゴシップ並列SGD
• Authors: Ziyuan Bao, Eiman Kanjo, Soumya Banerjee, Hasib-Al Rashid, Tinoosh Mohsenin,
• Abstract要約: 本稿では,2層化ゴシップ分散並列 Descent (GDD) を提案する。 GDDは断続接続、限られた通信範囲、動的ネットワークトポロジに対処する。 我々は,CFL(Centralized Federated Learning)ベースラインに対するフレームワークの性能を評価する。
• 参考スコア（独自算出の注目度）: 2.6913398550088483
• License:
• Abstract: With the growing computational capabilities of microcontroller units (MCUs), edge devices can now support machine learning models. However, deploying decentralised federated learning (DFL) on such devices presents key challenges, including intermittent connectivity, limited communication range, and dynamic network topologies. This paper proposes a novel framework, bilayer Gossip Decentralised Parallel Stochastic Gradient Descent (GD PSGD), designed to address these issues in resource-constrained environments. The framework incorporates a hierarchical communication structure using Distributed Kmeans (DKmeans) clustering for geographic grouping and a gossip protocol for efficient model aggregation across two layers: intra-cluster and inter-cluster. We evaluate the framework's performance against the Centralised Federated Learning (CFL) baseline using the MCUNet model on the CIFAR-10 dataset under IID and Non-IID conditions. Results demonstrate that the proposed method achieves comparable accuracy to CFL on IID datasets, requiring only 1.8 additional rounds for convergence. On Non-IID datasets, the accuracy loss remains under 8\% for moderate data imbalance. These findings highlight the framework's potential to support scalable and privacy-preserving learning on edge devices with minimal performance trade-offs.
• Abstract（参考訳）: マイクロコントローラユニット(MCU)の計算能力の増大により、エッジデバイスは機械学習モデルをサポートできるようになった。 しかし、このようなデバイスに分散化された連合学習(DFL)をデプロイすることは、断続的な接続性、限られた通信範囲、動的ネットワークトポロジといった重要な課題を示す。 本稿では,資源制約環境下でのこれらの問題に対処するために,二層化 Gossip Decentralized Parallel Stochastic Gradient Descent (GD PSGD) を提案する。 このフレームワークは、地理的グループ化のための分散Kmeans(DKmeans)クラスタリングと、クラスタ内とクラスタ間という2層にわたる効率的なモデルアグリゲーションのためのゴシッププロトコルを用いた階層的な通信構造を備えている。 IIDおよび非IID条件下で,CIFAR-10データセット上のMCUNetモデルを用いて,CFL(Centralized Federated Learning)ベースラインに対するフレームワークの性能を評価する。 その結果,提案手法はIIDデータセット上でのCFLに匹敵する精度を達成でき,コンバージェンスに要するラウンドは1.8であることがわかった。 非IIDデータセットの精度損失は、適度なデータ不均衡では 8 % 以下である。 これらの調査結果は、パフォーマンスのトレードオフを最小限に抑えたエッジデバイスでのスケーラブルでプライバシ保護学習をサポートするフレームワークの可能性を強調している。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data [21.341280782748278]
  クラスタ化フェデレーション学習(CFL)は、データ不均一性から生じる性能劣化を軽減するために提案される。 我々は,グローバル知識をクラスタ内学習に効率的に統合する適応型CFLフレームワークFedACを提案する。 実験の結果、FedACは試験精度が1.82%、12.67%向上した。
  論文  参考訳（メタデータ） (2024-03-25T06:43:28Z)
• Hierarchical Federated Learning in Multi-hop Cluster-Based VANETs [12.023861154677205]
  本稿では,マルチホップクラスタリングに基づくVANET上での階層型フェデレーション学習(HFL)のための新しいフレームワークを提案する。 提案手法は,FLモデルパラメータの平均相対速度とコサイン類似度の重み付けをクラスタリング指標として用いる。 大規模なシミュレーションにより,クラスタ化VANET上での階層型フェデレーション学習が,精度と収束時間を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-01-18T20:05:34Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
  フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。 本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。 効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-20T03:06:08Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
  フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。 本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-12-09T07:39:31Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [14.269800282001464]
  フェデレーションエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおいて、大きな通信遅延を低減する効果的なアプローチとして登場した。 FEELの新しい枠組み、すなわち半分散型フェデレーションエッジラーニング(SD-FEEL)について検討する。 異なるエッジクラスタにまたがるモデルアグリゲーションを可能にすることで、SD-FEELはトレーニングのレイテンシを低減できるFEELのメリットを享受できる。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。