論文の概要: HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning
- arxiv url: http://arxiv.org/abs/2403.04207v2
- Date: Fri, 10 May 2024 09:02:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 18:15:12.818489
- Title: HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning
- Title（参考訳）: HeteroSwitch:フェデレートラーニングにおけるシステムによるデータ不均一性の特徴とモデリング
- Authors: Gyudong Kim, Mehdi Ghasemi, Soroush Heidari, Seungryong Kim, Young Geun Kim, Sarma Vrudhula, Carole-Jean Wu,
- Abstract要約: Federated Learning(FL)は、ディープラーニングモデルをエンドユーザデバイス間で協調的にトレーニングするための実践的なアプローチである。
FLでは、ハードウェアやソフトウェアの構成に関して、参加するエンドユーザデバイスは極めて断片化されている。
本稿では,HWおよびSW構成の変化によるバイアスレベルに応じて,一般化手法を適応的に採用するHeteroSwitchを提案する。
- 参考スコア（独自算出の注目度）: 36.00729012296371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a practical approach to train deep learning models collaboratively across user-end devices, protecting user privacy by retaining raw data on-device. In FL, participating user-end devices are highly fragmented in terms of hardware and software configurations. Such fragmentation introduces a new type of data heterogeneity in FL, namely \textit{system-induced data heterogeneity}, as each device generates distinct data depending on its hardware and software configurations. In this paper, we first characterize the impact of system-induced data heterogeneity on FL model performance. We collect a dataset using heterogeneous devices with variations across vendors and performance tiers. By using this dataset, we demonstrate that \textit{system-induced data heterogeneity} negatively impacts accuracy, and deteriorates fairness and domain generalization problems in FL. To address these challenges, we propose HeteroSwitch, which adaptively adopts generalization techniques (i.e., ISP transformation and SWAD) depending on the level of bias caused by varying HW and SW configurations. In our evaluation with a realistic FL dataset (FLAIR), HeteroSwitch reduces the variance of averaged precision by 6.3\% across device types.
- Abstract（参考訳）: Federated Learning(FL)は、デバイス上で生データを保持することによってユーザのプライバシを保護することによって、ユーザエンドデバイス間でディープラーニングモデルを協調的にトレーニングする実践的なアプローチである。
FLでは、ハードウェアやソフトウェアの構成に関して、参加するエンドユーザデバイスは極めて断片化されている。
このような断片化は、ハードウェアやソフトウェアの構成に応じて異なるデータを生成するため、FLの新しいタイプのデータ不均一性、すなわち、textit{system-induced data heterogeneity}を導入する。
本稿では,FLモデルの性能に及ぼすシステムによるデータ不均一性の影響を最初に特徴付ける。
ベンダーやパフォーマンス層によって異なる異種デバイスを使用してデータセットを収集します。
このデータセットを用いることで, <textit{system-induced data heterogeneity} が精度に悪影響を及ぼし, FLにおける公平性や領域一般化の問題を悪化させることを示した。
これらの課題に対処するために,HW と SW の設定の変化によるバイアスレベルに応じて,一般化技術(ISP 変換と SWAD)を適応的に採用する HeteroSwitch を提案する。
現実的なFLデータセット(FLAIR)による評価において,HeteroSwitchはデバイスタイプ間の平均精度のばらつきを6.3\%削減する。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning [1.4656078321003647]
Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T18:39:08Z) - FedConv: Enhancing Convolutional Neural Networks for Handling Data
Heterogeneity in Federated Learning [34.37155882617201]
フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。
活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。
以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-06T17:57:50Z) - Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities [4.9851737525099225]
フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。
本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。
提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
論文 参考訳（メタデータ） (2023-09-24T03:19:40Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。
FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。
本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
論文 参考訳（メタデータ） (2023-03-23T15:37:17Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Characterizing Impacts of Heterogeneity in Federated Learning upon
Large-Scale Smartphone Data [23.67491703843822]
フェデレーテッド・ラーニング(FL)は、新しいプライバシー保護機械学習パラダイムであり、アカデミックや業界で大きな注目を集めている。
FLのユニークな特徴は異質性であり、様々なハードウェア仕様と、参加するデバイス全体の動的状態に存在する。
我々は、異種および異種な設定下での最先端のFLアルゴリズムの性能を比較するために、広範囲な実験を行った。
論文 参考訳（メタデータ） (2020-06-12T07:49:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。