論文の概要: Improving Semi-supervised Federated Learning by Reducing the Gradient
Diversity of Models
- arxiv url: http://arxiv.org/abs/2008.11364v2
- Date: Tue, 9 Mar 2021 04:03:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 20:53:22.944243
- Title: Improving Semi-supervised Federated Learning by Reducing the Gradient
Diversity of Models
- Title（参考訳）: モデルの勾配多様性を低減した半教師付き連合学習の改善
- Authors: Zhengming Zhang, Yaoqing Yang, Zhewei Yao, Yujun Yan, Joseph E.
Gonzalez, Michael W. Mahoney
- Abstract要約: Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。
テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。
本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
- 参考スコア（独自算出の注目度）: 67.66144604972052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising way to use the computing power of
mobile devices while maintaining the privacy of users. Current work in FL,
however, makes the unrealistic assumption that the users have ground-truth
labels on their devices, while also assuming that the server has neither data
nor labels. In this work, we consider the more realistic scenario where the
users have only unlabeled data, while the server has some labeled data, and
where the amount of labeled data is smaller than the amount of unlabeled data.
We call this learning problem semi-supervised federated learning (SSFL). For
SSFL, we demonstrate that a critical issue that affects the test accuracy is
the large gradient diversity of the models from different users. Based on this,
we investigate several design choices. First, we find that the so-called
consistency regularization loss (CRL), which is widely used in semi-supervised
learning, performs reasonably well but has large gradient diversity. Second, we
find that Batch Normalization (BN) increases gradient diversity. Replacing BN
with the recently-proposed Group Normalization (GN) can reduce gradient
diversity and improve test accuracy. Third, we show that CRL combined with GN
still has a large gradient diversity when the number of users is large. Based
on these results, we propose a novel grouping-based model averaging method to
replace the FedAvg averaging method. Overall, our grouping-based averaging,
combined with GN and CRL, achieves better test accuracy than not just a
contemporary paper on SSFL in the same settings (>10\%), but also four
supervised FL algorithms.
- Abstract（参考訳）: Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法である。
しかし、FLでの現在の作業は、ユーザーがデバイスに地味なラベルを持っているという非現実的な仮定と、サーバがデータもラベルも持たないことを仮定している。
本研究では,ユーザがラベル付きデータしか持たず,サーバにはラベル付きデータがあり,ラベル付きデータの量はラベル付きデータの量より小さいという,より現実的なシナリオを検討する。
我々はこの学習問題を半教師付き連合学習(SSFL)と呼ぶ。
SSFLの場合、テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。
そこで本研究では,いくつかの設計選択について検討する。
まず, 半教師付き学習で広く用いられている一貫性正規化損失(crl)は, 適度によく機能するが, 勾配の多様性が高いことがわかった。
第二に、バッチ正規化(BN)は勾配の多様性を増大させる。
最近提案されたグループ正規化(GN)によるBNの置換は、勾配の多様性を低減し、テスト精度を向上させる。
第3に、GNと組み合わせたCRLは、ユーザ数が多い場合にも大きな勾配の多様性を持つことを示す。
そこで本研究では,fedavg平均化法に代わる新しいグループ化モデル平均化法を提案する。
全体として、GNとCRLを組み合わせたグループベース平均化は、SSFLの現在の論文(>10\%)だけでなく、4つの教師付きFLアルゴリズムよりも、テスト精度が向上する。
関連論文リスト
- Towards Realistic Long-tailed Semi-supervised Learning in an Open World [0.0]
我々は、既知のカテゴリと新規カテゴリの分布関係を前提としない、よりエフェリアティックなオープンワールドLong-tailed Semi-supervised Learning(textbfROLSSL)を構築する。
提案したROOSSL設定では、二重ステージロジット調整と呼ばれる、シンプルで効果的な解を提案する。
CIFAR100やImageNet100のようなデータセットの実験では、最大50.1%のパフォーマンス改善が示されている。
論文 参考訳（メタデータ） (2024-05-23T12:53:50Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:44:52Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - StatMix: Data augmentation method that relies on image statistics in
federated learning [0.27528170226206433]
StatMixは、画像統計を用いてFLシナリオの結果を改善する拡張アプローチである。
すべてのFL実験において、StatMixの応用は(StatMixを使わない)ベースライントレーニングと比較して平均精度を向上させる。
論文 参考訳（メタデータ） (2022-07-08T19:02:41Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。