論文の概要: HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse

• arxiv url: http://arxiv.org/abs/2211.03300v1
• Date: Mon, 7 Nov 2022 04:33:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:27:52.366722
• Title: HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse
• Title（参考訳）: hfedms:産業メタバースにおける記憶可能なデータセマンティクスを用いたヘテロジニアスフェデレート学習
• Authors: Shenglai Zeng, Zonghang Li, Hongfang Yu, Zhihao Zhang, Long Luo, Bo Li, Dusit Niyato
• Abstract要約: 本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 49.1501082763252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL), as a rapidly evolving privacy-preserving collaborative machine learning paradigm, is a promising approach to enable edge intelligence in the emerging Industrial Metaverse. Even though many successful use cases have proved the feasibility of FL in theory, in the industrial practice of Metaverse, the problems of non-independent and identically distributed (non-i.i.d.) data, learning forgetting caused by streaming industrial data, and scarce communication bandwidth remain key barriers to realize practical FL. Facing the above three challenges simultaneously, this paper presents a high-performance and efficient system named HFEDMS for incorporating practical FL into Industrial Metaverse. HFEDMS reduces data heterogeneity through dynamic grouping and training mode conversion (Dynamic Sequential-to-Parallel Training, STP). Then, it compensates for the forgotten knowledge by fusing compressed historical data semantics and calibrates classifier parameters (Semantic Compression and Compensation, SCC). Finally, the network parameters of the feature extractor and classifier are synchronized in different frequencies (Layer-wiseAlternative Synchronization Protocol, LASP) to reduce communication costs. These techniques make FL more adaptable to the heterogeneous streaming data continuously generated by industrial equipment, and are also more efficient in communication than traditional methods (e.g., Federated Averaging). Extensive experiments have been conducted on the streamed non-i.i.d. FEMNIST dataset using 368 simulated devices. Numerical results show that HFEDMS improves the classification accuracy by at least 6.4% compared with 8 benchmarks and saves both the overall runtime and transfer bytes by up to 98%, proving its superiority in precision and efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、急速に進化するプライバシ保護協調機械学習パラダイムであり、新興産業メタバースにおけるエッジインテリジェンスを実現するための有望なアプローチである。 理論上、多くの成功事例がFLの実現可能性を示しているが、Metaverseの産業実践では、非独立で同一に分散したデータ、ストリーミング産業データによる忘れの学習、通信帯域幅の不足といった問題は、実際にFLを実現する上で重要な障壁である。 本稿では,これら3つの課題を同時に解決し,実用FLを産業メタバースに組み込んだ高性能かつ効率的なHFEDMSを提案する。 HFEDMSは動的グループ化とトレーニングモード変換(Dynamic Sequential-to-Parallel Training, STP)によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスとカリブラート分類パラメータ(Semantic Compression and Compensation, SCC)を融合することにより、忘れられた知識を補償する。 最後に、特徴抽出器と分類器のネットワークパラメータを異なる周波数(Layer-wise Alternative Synchronization Protocol, LASP)で同期させ、通信コストを削減する。 これらの技術により、flは産業機器によって連続的に生成される異種ストリーミングデータに適応しやすくなり、従来の方法(フェデレート平均化など)よりも通信効率が向上する。 ストリーム化されていないFEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて大規模な実験を行った。 HFEDMSは8つのベンチマークと比較して少なくとも6.4%の分類精度を向上し、全体のランタイムと転送バイトの両方を最大98%削減し、精度と効率の優位性を証明した。

関連論文リスト

• FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation [0.361593752383807]
  フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。 FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。 我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
  論文  参考訳（メタデータ） (2024-09-08T23:05:35Z)
• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Data Heterogeneity-Robust Federated Learning via Group Client Selection in Industrial IoT [57.67687126339891]
  FedGSは5Gのエンパワーメント産業のための階層的なクラウド・エッジ・エンドのFLフレームワークである。 自然にクラスタ化されたファクトリデバイスを利用することで、FedGSは勾配ベースのバイナリ置換アルゴリズムを使用する。 実験によると、FedGSは精度を3.5%改善し、トレーニングラウンドを平均59%削減している。
  論文  参考訳（メタデータ） (2022-02-03T10:48:17Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
  フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。 本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。 上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-17T12:30:40Z)
• Efficient Ring-topology Decentralized Federated Learning with Deep Generative Models for Industrial Artificial Intelligent [13.982904025739606]
  深層生成モデル(dgms)のためのリングトポジ型分散連体学習方式を提案する。 我々のRDFLスキームは通信効率を向上し、目標IIoTタスクにおけるDGMを向上するための訓練性能を維持する。 さらに、通信効率とFLセキュリティをさらに向上するため、IPFS(InterPlanetary File System)を導入している。
  論文  参考訳（メタデータ） (2021-04-15T08:09:54Z)
• Coded Computing for Federated Learning at the Edge [3.385874614913973]
  フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。 最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。 我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
  論文  参考訳（メタデータ） (2020-07-07T08:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。