論文の概要: H-FedSN: Personalized Sparse Networks for Efficient and Accurate Hierarchical Federated Learning for IoT Applications

• arxiv url: http://arxiv.org/abs/2412.06210v2
• Date: Wed, 25 Dec 2024 12:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:21:44.834656
• Title: H-FedSN: Personalized Sparse Networks for Efficient and Accurate Hierarchical Federated Learning for IoT Applications
• Title（参考訳）: H-FedSN:IoTアプリケーションのための効率的な階層的フェデレーション学習のためのパーソナライズされたスパースネットワーク
• Authors: Jiechao Gao, Yuangang Li, Yue Zhao, Brad Campbell,
• Abstract要約: 実用的なIoT環境のための革新的なアプローチとして,H-FedSNを提案する。 H-FedSNでは、通信オーバーヘッドを低減するために、共有層とパーソナライズ層を備えたバイナリマスク機構が導入されている。 H-FedSN は HierFAVG と比較して通信コストを 58 倍から 238 倍に削減する。
• 参考スコア（独自算出の注目度）: 9.584696468209565
• License:
• Abstract: The proliferation of Internet of Things (IoT) has increased interest in federated learning (FL) for privacy-preserving distributed data utilization. However, traditional two-tier FL architectures inadequately adapt to multi-tier IoT environments. While Hierarchical Federated Learning (HFL) improves practicality in multi-tier IoT environments by multi-layer aggregation, it still faces challenges in communication efficiency and accuracy due to high data transfer volumes, data heterogeneity, and imbalanced device distribution, struggling to meet the low-latency and high-accuracy model training requirements of practical IoT scenarios. To overcome these limitations, we propose H-FedSN, an innovative approach for practical IoT environments. H-FedSN introduces a binary mask mechanism with shared and personalized layers to reduce communication overhead by creating a sparse network while keeping original weights frozen. To address data heterogeneity and imbalanced device distribution, we integrate personalized layers for local data adaptation and apply Bayesian aggregation with cumulative Beta distribution updates at edge and cloud levels, effectively balancing contributions from diverse client groups. Evaluations on three real-world IoT datasets and MNIST under non-IID settings demonstrate that H-FedSN significantly reduces communication costs by 58 to 238 times compared to HierFAVG while achieving high accuracy, making it highly effective for practical IoT applications in hierarchical federated learning scenarios.
• Abstract（参考訳）: モノのインターネット(IoT)の普及は、プライバシを保存する分散データ利用のためのフェデレーションラーニング(FL)への関心を高めている。 しかし、従来の2層FLアーキテクチャは、多層IoT環境には適さない。 Hierarchical Federated Learning (HFL)は多層IoT環境での実践性を多層アグリゲーションによって改善するが、データ転送ボリューム、データ均一性、不均衡なデバイス分散による通信効率と精度の課題に直面しており、実用的なIoTシナリオの低レイテンシで高精度なモデルトレーニング要件を満たすのに苦労している。 これらの制限を克服するために,実用的なIoT環境のための革新的なアプローチであるH-FedSNを提案する。 H-FedSNは、共有層とパーソナライズ層を備えたバイナリマスク機構を導入し、疎ネットワークを作成しながら、元の重みを凍結したままにすることで、通信オーバーヘッドを低減する。 データの不均一性と不均衡なデバイス分布に対処するため、ローカルデータ適応のためのパーソナライズされたレイヤを統合し、ベイジアンアグリゲーションをエッジおよびクラウドレベルで累積ベータ配信更新に適用し、多様なクライアントグループからのコントリビューションを効果的にバランスさせる。 非IID環境での3つの実世界のIoTデータセットとMNISTの評価は、H-FedSNがハイアファVGと比較して通信コストを58倍から238倍削減し、高い精度を実現し、階層的なフェデレーション学習シナリオにおける実践的なIoTアプリケーションに非常に効果的であることを示している。

関連論文リスト

• Generative AI-Powered Plugin for Robust Federated Learning in Heterogeneous IoT Networks [3.536605202672355]
  フェデレーション学習により、エッジデバイスは、データのローカライズを維持しながら、データのプライバシを維持しながら、グローバルモデルを協調的にトレーニングすることが可能になる。 我々は,AI強化データ拡張と均衡サンプリング戦略により,IIDからIDDへの非IIDデータ分布を近似する,フェデレーション最適化技術のための新しいプラグインを提案する。
  論文  参考訳（メタデータ） (2024-10-31T11:13:47Z)
• Efficient Federated Intrusion Detection in 5G ecosystem using optimized BERT-based model [0.7100520098029439]
  5Gは高度なサービスを提供し、IoT(Internet of Things)内のインテリジェントトランスポート、コネクテッドヘルスケア、スマートシティなどのアプリケーションをサポートする。 これらの進歩は、ますます高度なサイバー攻撃を伴う、重大なセキュリティ上の課題をもたらす。 本稿では,連合学習と大規模言語モデル(LLM)を用いた頑健な侵入検知システム(IDS)を提案する。
  論文  参考訳（メタデータ） (2024-09-28T15:56:28Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System [2.040586739710704]
  IoT(Industrial Internet of Things)では、大量のデータが毎日生成される。 プライバシーとセキュリティの問題により、これらのデータをまとめてディープラーニングモデルをトレーニングすることは困難である。 本稿では,集中型フェデレーション学習と分散型フェデレーション学習を組み合わせて,半分散型クラウドエッジデバイス階層型フェデレーション学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-03-19T09:34:01Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and Multispectral Data Fusion [54.668445421149364]
  HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。 本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:30:37Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。