Fugu-MT 論文翻訳(概要): Toward Data Heterogeneity of Federated Learning

論文の概要: Toward Data Heterogeneity of Federated Learning

arxiv url: http://arxiv.org/abs/2212.08944v1
Date: Sat, 17 Dec 2022 20:26:18 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 18:08:55.500895
Title: Toward Data Heterogeneity of Federated Learning
Title（参考訳）: フェデレートラーニングのデータの均一性に向けて
Authors: Yuchuan Huang, Chen Hu
Abstract要約: データスキューと量スキューが、最先端のフェデレーション学習アルゴリズムの性能にどのように影響するかを示す。本稿では,既存のフェデレート学習アルゴリズムを適応する新しいアルゴリズムであるFedMixを提案する。既存のFedProxやFedNovaのような最先端のアルゴリズムは、すべてのテストケースで大幅に改善されていない。
参考スコア（独自算出の注目度）: 4.737991126491218
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.
Abstract（参考訳）: フェデレーション学習は機械学習の一般的なパラダイムである。理想的には、連合学習は、すべてのクライアントが同様のデータ分散を共有する場合に最も効果的である。しかし、必ずしも現実の世界ではそうではない。そのため,ヘテロジニアスデータにおけるフェデレート学習の話題は,学界と産業界の両方からますます注目を浴びている。このプロジェクトでは、まず、データスキューと量スキューが、最先端のフェデレーション学習アルゴリズムの性能にどのように影響するかを示す広範な実験を行う。次に,既存のフェデレーション学習アルゴリズムを調整する新しいアルゴリズムfeedmixを提案し,その性能を示す。既存のFedProxやFedNovaのような最先端のアルゴリズムは、すべてのテストケースで大幅に改善されていない。しかし、既存のアルゴリズムと新しいアルゴリズムをテストすることによって、クライアントサイドの微調整は、サーバサイドの微調整よりも効果的に思える。

関連論文リスト

Learning from straggler clients in federated learning [17.536454365543232]
実世界のアプリケーションでガイドされるクライアント遅延のモンテカルロシミュレーションを開発した。我々はFedAvgやFedAdamのような同期最適化アルゴリズムと非同期FedBuffアルゴリズムについて検討する。 EMNIST、CIFAR-100、StackOverflowベンチマークのフェデレーション学習タスクによる実験は、新しいアルゴリズムがストラグラークライアントの精度で既存のアルゴリズムより優れていることを示している。
論文参考訳（メタデータ） (2024-03-14T04:06:45Z)
A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data [2.9642661320713555]
ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
論文参考訳（メタデータ） (2023-11-16T17:14:07Z)
FedX: Unsupervised Federated Learning with Cross Knowledge Distillation [70.73383643450548]
FedXは教師なしのフェデレーション学習フレームワークである。分散化および異質なローカルデータからバイアスのない表現を学ぶ。フェデレートされた設定で、既存の教師なしアルゴリズムのアドオンモジュールとして使用できる。
論文参考訳（メタデータ） (2022-07-19T09:56:44Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Improving Fairness via Federated Learning [14.231231094281362]
フェアネスを向上させるために,フェデレーション学習の価値を解析する理論的枠組みを提案する。次に,FedAvgに基づくフェアラーニングアルゴリズムの性能トレードオフが,集中型データに基づいて訓練されたフェアクラシファイアよりも厳密に悪いことを示す。これを解決するために,修正されたFedAvgプロトコルを用いて分散データに対するプライベートフェアラーニングアルゴリズムであるFedFBを提案する。
論文参考訳（メタデータ） (2021-10-29T05:25:44Z)
FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning [7.771967424619346]
Federated Learning (FL) は、分散化されたプライバシ保護機械学習(FL)フレームワークとして人気がある。本稿では,この半教師付きフェデレート学習(SSFL)問題を解くために,FedSEALと呼ばれる新しいFLアルゴリズムを提案する。提案アルゴリズムは,自己アンサンブル学習と相補的負学習を利用して,未ラベルデータに対するクライアントの教師なし学習の精度と効率を両立させる。
論文参考訳（メタデータ） (2021-10-15T03:03:23Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文参考訳（メタデータ） (2021-04-14T14:20:22Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文参考訳（メタデータ） (2020-11-23T12:52:18Z)
Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
論文参考訳（メタデータ） (2020-10-02T14:09:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。