論文の概要: Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data

• arxiv url: http://arxiv.org/abs/2006.06983v4
• Date: Fri, 12 Mar 2021 08:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:35:20.171939
• Title: Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data
• Title（参考訳）: 大規模スマートフォンデータに対するフェデレーション学習における不均一性の影響
• Authors: Chengxu Yang, Qipeng Wang, Mengwei Xu, Zhenpeng Chen, Kaigui Bian, Yunxin Liu, Xuanzhe Liu
• Abstract要約: フェデレーテッド・ラーニング(FL)は、新しいプライバシー保護機械学習パラダイムであり、アカデミックや業界で大きな注目を集めている。 FLのユニークな特徴は異質性であり、様々なハードウェア仕様と、参加するデバイス全体の動的状態に存在する。 我々は、異種および異種な設定下での最先端のFLアルゴリズムの性能を比較するために、広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 23.67491703843822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging, privacy-preserving machine learning paradigm, drawing tremendous attention in both academia and industry. A unique characteristic of FL is heterogeneity, which resides in the various hardware specifications and dynamic states across the participating devices. Theoretically, heterogeneity can exert a huge influence on the FL training process, e.g., causing a device unavailable for training or unable to upload its model updates. Unfortunately, these impacts have never been systematically studied and quantified in existing FL literature. In this paper, we carry out the first empirical study to characterize the impacts of heterogeneity in FL. We collect large-scale data from 136k smartphones that can faithfully reflect heterogeneity in real-world settings. We also build a heterogeneity-aware FL platform that complies with the standard FL protocol but with heterogeneity in consideration. Based on the data and the platform, we conduct extensive experiments to compare the performance of state-of-the-art FL algorithms under heterogeneity-aware and heterogeneity-unaware settings. Results show that heterogeneity causes non-trivial performance degradation in FL, including up to 9.2% accuracy drop, 2.32x lengthened training time, and undermined fairness. Furthermore, we analyze potential impact factors and find that device failure and participant bias are two potential factors for performance degradation. Our study provides insightful implications for FL practitioners. On the one hand, our findings suggest that FL algorithm designers consider necessary heterogeneity during the evaluation. On the other hand, our findings urge system providers to design specific mechanisms to mitigate the impacts of heterogeneity.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、新しいプライバシー保護機械学習パラダイムであり、アカデミックと業界の両方で大きな注目を集めている。 FLのユニークな特徴は異質性であり、様々なハードウェア仕様と参加するデバイス全体の動的状態に存在する。 理論的には、不均一性はFLトレーニングプロセスに大きな影響を与える可能性がある。 残念ながら、これらの影響は既存のFL文献で体系的に研究され、定量化されることはなかった。 本稿では,flにおける不均一性の影響を特徴付ける最初の実験研究を行う。 現実世界の環境で不均一性を忠実に反映できる136kのスマートフォンから大規模なデータを収集する。 また、標準FLプロトコルに準拠するが不均一性を考慮したFLプラットフォームを構築する。 データとプラットフォームに基づいて、異種性認識および異種性認識設定下での最先端のFLアルゴリズムの性能を比較するための広範な実験を行う。 その結果,不均一性がflの非自明な性能低下を引き起こし,最大9.2%の精度低下,2.32倍のトレーニング時間,不公平さがみられた。 さらに、潜在的な影響要因を分析し、デバイス故障と受動バイアスが性能劣化の2つの要因であることを示す。 本研究は,fl実践者に対する洞察に富む示唆を与える。 一方, FLアルゴリズムの設計者は, 評価において必要な不均一性を考慮している。 一方,システムプロバイダは,異種性の影響を軽減するための特定のメカニズムを設計する必要がある。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning [36.00729012296371]
  Federated Learning(FL)は、ディープラーニングモデルをエンドユーザデバイス間で協調的にトレーニングするための実践的なアプローチである。 FLでは、ハードウェアやソフトウェアの構成に関して、参加するエンドユーザデバイスは極めて断片化されている。 本稿では,HWおよびSW構成の変化によるバイアスレベルに応じて,一般化手法を適応的に採用するHeteroSwitchを提案する。
  論文  参考訳（メタデータ） (2024-03-07T04:23:07Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Handling Data Heterogeneity via Architectural Design for Federated Visual Recognition [16.50490537786593]
  4つのFLデータセットを用いて、5つの異なるアーキテクチャファミリからの19の視覚認識モデルについて検討する。 本研究は,現実的なシナリオにおけるコンピュータビジョンタスクにおけるアーキテクチャ設計の重要性を強調した。
  論文  参考訳（メタデータ） (2023-10-23T17:59:16Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning [34.37155882617201]
  フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。 活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。 以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T17:57:50Z)
• FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
  Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。 本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:37:17Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• On the Impact of Device and Behavioral Heterogeneity in Federated Learning [5.038980064083677]
  フェデレーション学習(fl)は、非信頼エンティティが所有する分散プライベートデータセット上での協調学習のための一般的なパラダイムになりつつある。 本稿では,多くの異種データセット,デバイス,ネットワーク上でのトレーニングを行う課題について述べる。 5つのFLベンチマークで1.5Kのユニークな構成にまたがる経験的研究を行った。
  論文  参考訳（メタデータ） (2021-02-15T12:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。