Fugu-MT 論文翻訳(概要): Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks

論文の概要: Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks

arxiv url: http://arxiv.org/abs/2209.15595v1
Date: Fri, 30 Sep 2022 17:15:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 14:40:03.739279
Title: Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks
Title（参考訳）: フェデレーション学習におけるデータ不均一性再考--新しい概念と標準ベンチマークの導入
Authors: Mahdi Morafah, Saeed Vahidian, Chen Chen, Mubarak Shah, Bill Lin
Abstract要約: 我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
参考スコア（独自算出の注目度）: 65.34113135080105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Though successful, federated learning presents new challenges for machine learning, especially when the issue of data heterogeneity, also known as Non-IID data, arises. To cope with the statistical heterogeneity, previous works incorporated a proximal term in local optimization or modified the model aggregation scheme at the server side or advocated clustered federated learning approaches where the central server groups agent population into clusters with jointly trainable data distributions to take the advantage of a certain level of personalization. While effective, they lack a deep elaboration on what kind of data heterogeneity and how the data heterogeneity impacts the accuracy performance of the participating clients. In contrast to many of the prior federated learning approaches, we demonstrate not only the issue of data heterogeneity in current setups is not necessarily a problem but also in fact it can be beneficial for the FL participants. Our observations are intuitive: (1) Dissimilar labels of clients (label skew) are not necessarily considered data heterogeneity, and (2) the principal angle between the agents' data subspaces spanned by their corresponding principal vectors of data is a better estimate of the data heterogeneity. Our code is available at https://github.com/MMorafah/FL-SC-NIID.
Abstract（参考訳）: フェデレーション学習は成功したが、特に非iidデータとして知られるデータの不均一性の問題が発生すると、機械学習に新たな課題をもたらす。統計的不均一性に対処するため、従来の研究では、局所最適化において近項を組み込んだり、サーバ側のモデルアグリゲーションスキームを変更したり、あるいは、中央サーバグループエージェント集団を、あるレベルのパーソナライズを活かすために、共同で訓練可能なデータ分布を持つクラスタに分類する、クラスタ化された連合学習アプローチを提唱した。有効ではあるが、どのような種類のデータ不均一性と、そのデータ不均質性が参加者の正確性にどのように影響するかについての深い説明が欠けている。従来のフェデレーション学習のアプローチとは対照的に、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、実際にFL参加者にとって有益であることを示す。 1) クライアントの異なるラベル(ラベルスキュー)は必ずしもデータ不均一性とはみなされず,(2) エージェントのデータ部分空間間の主角はデータ不均一性のより優れた推定値である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。

関連論文リスト

Non-IID data in Federated Learning: A Systematic Review with Taxonomy, Metrics, Methods, Frameworks and Future Directions [2.9434966603161072]
この体系的なレビューは、非IIDデータ、パーティションプロトコル、メトリクスの詳細な分類を提供することによってギャップを埋めることを目的としている。非IIDデータに対処するための一般的なソリューションと、異種データを用いたフェデレートラーニングで使用される標準化されたフレームワークについて述べる。
論文参考訳（メタデータ） (2024-11-19T09:53:28Z)
Dataset Distillation-based Hybrid Federated Learning on Non-IID Data [19.01147151081893]
本稿では,データセット蒸留を統合して,独立および等分散(IID)データを生成するハイブリッド・フェデレーション学習フレームワークHFLDDを提案する。クライアントを異種クラスタに分割し、クラスタ内の異なるクライアント間でのデータラベルがバランスが取れないようにします。このトレーニングプロセスは、従来のIDデータに対するフェデレーション学習に似ているため、モデルトレーニングにおける非IIDデータの影響を効果的に軽減する。
論文参考訳（メタデータ） (2024-09-26T03:52:41Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文参考訳（メタデータ） (2023-12-10T07:38:56Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文参考訳（メタデータ） (2023-02-21T02:53:37Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)
Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
論文参考訳（メタデータ） (2020-03-18T07:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。