Fugu-MT 論文翻訳(概要): Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments

論文の概要: Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments

arxiv url: http://arxiv.org/abs/2011.07006v2
Date: Sat, 3 Jul 2021 23:07:12 GMT
ステータス: 処理完了
システム内更新日: 2022-09-25 23:35:02.856194
Title: Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Title（参考訳）: フェデレート・マルチミニバッチ:非iid環境におけるフェデレーション学習への効率的なトレーニングアプローチ
Authors: Reza Nasirigerdeh, Mohammad Bakhtiari, Reihaneh Torkzadehmahani, Amirhossein Bayat, Markus List, David B. Blumenthal and Jan Baumbach
Abstract要約: フェデレーション学習は、パフォーマンスとネットワーク通信の課題に直面している。本手法は,非IID環境における集中学習と同等の性能を達成できることを示す。
参考スコア（独自算出の注目度）: 6.024288622647634
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has faced performance and network communication challenges, especially in the environments where the data is not independent and identically distributed (IID) across the clients. To address the former challenge, we introduce the federated-centralized concordance property and show that the federated single-mini-batch training approach can achieve comparable performance as the corresponding centralized training in the Non-IID environments. To deal with the latter, we present the federated multi-mini-batch approach and illustrate that it can establish a trade-off between the performance and communication efficiency and outperforms federated averaging in the Non-IID settings.
Abstract（参考訳）: フェデレーション学習は、特にデータがクライアント間で独立かつ同一分散(iid)されていない環境では、パフォーマンスとネットワーク通信の課題に直面している。従来の課題に対処するため,連合型一括バッチ学習手法が,非IID環境において対応する集中型トレーニングと同等の性能を発揮することを示す。後者に対処するため, フェデレートされたマルチミニバッチ方式を提案し, 性能と通信効率のトレードオフを確立し, 非IID環境でのフェデレーション平均よりも優れることを示す。

関連論文リスト

Distribution-Free Fair Federated Learning with Small Samples [54.63321245634712]
FedFaiREEは、分散化された環境で分散のないフェアラーニングのために小さなサンプルで開発された後処理アルゴリズムである。公正性と精度の両面において厳密な理論的保証を提供し,実験結果により,提案手法の堅牢な実証検証を行う。
論文参考訳（メタデータ） (2024-02-25T17:37:53Z)
Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文参考訳（メタデータ） (2024-01-10T04:55:24Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文参考訳（メタデータ） (2023-03-01T06:16:15Z)
Accelerating Fair Federated Learning: Adaptive Federated Adam [0.0]
データセットが独立で同一に分散されていない場合(非IID)、単純なフェデレーションアルゴリズムによってトレーニングされたモデルは、特定の参加者に偏りが生じる可能性がある。これは連合学習における公平性問題として知られている。本稿では,適応的フェデレーション・アダム(AdaFedAdam)を提案し,偏見を緩和して公正なフェデレーション・ラーニングを加速させる。
論文参考訳（メタデータ） (2023-01-23T10:56:12Z)
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning [13.246981646250518]
本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
論文参考訳（メタデータ） (2022-11-21T08:17:03Z)
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文参考訳（メタデータ） (2022-04-30T06:17:36Z)
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文参考訳（メタデータ） (2022-03-22T14:06:26Z)
CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via Co-training [11.198612582299813]
Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。実験結果から,CoFEDは通信コストの低減を図った。
論文参考訳（メタデータ） (2022-02-17T11:34:20Z)
Ensemble Federated Adversarial Training with Non-IID data [1.5878082907673585]
敵対的なサンプルは、悪意のある目的を達成するためにクライアントモデルを混乱させ、騙すことができます。本稿では, EFAT(Ensemble Federated Adversarial Training Method)について紹介する。提案手法は,フェデレーション学習と敵対的アプローチを単独で組み合わせた場合と比較して,有望な結果が得られる。
論文参考訳（メタデータ） (2021-10-26T03:55:20Z)
Separate but Together: Unsupervised Federated Learning for Speech Enhancement from Non-IID Data [27.51123821674191]
音声強調と分離のための非教師付きフェデレーション学習(FL)アプローチであるFEDENHANCEを提案する。我々は、各クライアントが限られた数の話者からのノイズの多い録音へのアクセスしかできない現実のシナリオをシミュレートする。実験の結果,本手法は単一デバイス上での iid トレーニングと比較して,競合強化性能が向上することが示された。
論文参考訳（メタデータ） (2021-05-11T00:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。