論文の概要: Embedding Alignment for Unsupervised Federated Learning via Smart Data
Exchange
- arxiv url: http://arxiv.org/abs/2208.02856v1
- Date: Thu, 4 Aug 2022 19:26:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-08 12:46:00.043011
- Title: Embedding Alignment for Unsupervised Federated Learning via Smart Data
Exchange
- Title（参考訳）: スマートデータ交換による教師なしフェデレーション学習のための埋め込みアライメント
- Authors: Satyavrat Wagle, Seyyedali Hosseinalipour, Naji Khosravan, Mung
Chiang, Christopher G. Brinton
- Abstract要約: フェデレートラーニング(FL)は、分散機械学習(ML)の最も有望なソリューションの1つとして認識されている。
我々は、ラベルのないデータセットを持つエッジデバイス間のFLのための新しい手法CF-CL(Cooperative Federated Unsupervised Contrastive Learning)を開発した。
- 参考スコア（独自算出の注目度）: 21.789359767103154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has been recognized as one of the most promising
solutions for distributed machine learning (ML). In most of the current
literature, FL has been studied for supervised ML tasks, in which edge devices
collect labeled data. Nevertheless, in many applications, it is impractical to
assume existence of labeled data across devices. To this end, we develop a
novel methodology, Cooperative Federated unsupervised Contrastive Learning
(CF-CL), for FL across edge devices with unlabeled datasets. CF-CL employs
local device cooperation where data are exchanged among devices through
device-to-device (D2D) communications to avoid local model bias resulting from
non-independent and identically distributed (non-i.i.d.) local datasets. CF-CL
introduces a push-pull smart data sharing mechanism tailored to unsupervised FL
settings, in which, each device pushes a subset of its local datapoints to its
neighbors as reserved data points, and pulls a set of datapoints from its
neighbors, sampled through a probabilistic importance sampling technique. We
demonstrate that CF-CL leads to (i) alignment of unsupervised learned latent
spaces across devices, (ii) faster global convergence, allowing for less
frequent global model aggregations; and (iii) is effective in extreme
non-i.i.d. data settings across the devices.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分散機械学習(ML)の最も有望なソリューションの1つとして認識されている。
多くの文献において、FLは、エッジデバイスがラベル付きデータを収集する教師付きMLタスクのために研究されている。
しかし、多くのアプリケーションでは、デバイス間でラベル付きデータが存在すると仮定するのは現実的ではない。
そこで我々は,ラベルのないデータセットを持つエッジデバイス間のFLのための新しい手法CF-CL(Cooperative Federated Unsupervised Contrastive Learning)を開発した。
cf-clは、デバイス間でデバイス間(d2d)通信を介してデータを交換するローカルデバイス協調を採用し、非独立かつ同一の分散(非i.i.d.)ローカルデータセットから生じるローカルモデルバイアスを回避する。
cf-clは、教師なしfl設定に合わせたプッシュプル型スマートデータ共有機構を導入し、各デバイスはローカルデータポイントのサブセットをリザーブドデータポイントとして隣国にプッシュし、その隣国からデータポイントのセットを抽出し、確率的重要度サンプリング技術でサンプリングする。
CF-CLが導くことを示す。
(i)デバイス間の教師なし学習潜在空間のアライメント
(ii)より高速なグローバル収束により、より頻繁なグローバルモデルアグリゲーションが可能となる。
iii) デバイス間での極端な非IDデータ設定に有効である。
関連論文リスト
- Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。
本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。
提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
論文 参考訳（メタデータ） (2024-10-23T11:47:04Z) - Unsupervised Federated Optimization at the Edge: D2D-Enabled Learning without Labels [14.696896223432507]
Federated Learning (FL)は、分散機械学習(ML)の一般的なソリューションである
tt CF-CLは、明示的な(生データ)または暗黙的な(埋め込み)情報をデバイス間通信(D2D)を介して交換する、ローカルなデバイス連携を採用している。
論文 参考訳（メタデータ） (2024-04-15T15:17:38Z) - Clustered Data Sharing for Non-IID Federated Learning over Wireless
Networks [39.80420645943706]
Federated Learning (FL)は、IoT(Internet of Things)のデータを活用する分散型機械学習アプローチである。
現在のFLアルゴリズムは、非独立で同一の分散データ(非IID)の課題に直面しており、通信コストが高く、モデルの精度が低下する。
本稿では,デバイス間通信(D2D)を通じて,クラスタヘッドから信頼性の高いアソシエイトへの部分的データ通信を行うクラスタデータ共有フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-17T07:11:02Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Federated Learning with Downlink Device Selection [92.14944020945846]
我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。
パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。
デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
論文 参考訳（メタデータ） (2021-07-07T22:42:39Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z) - FedProto: Federated Prototype Learning over Heterogeneous Devices [40.10333186507569]
本稿では,デバイスとサーバが勾配ではなくクラスプロトタイプを通信する,新しいfederated prototype learning(fedproto)フレームワークを提案する。
fedprotoは、さまざまなデバイスから収集したローカルプロトタイプを集約し、グローバルプロトタイプをすべてのデバイスに送信して、ローカルモデルのトレーニングを定期化する。
各デバイスでのトレーニングは,各ローカルデータの分類誤差を最小限に抑えつつ,結果のローカルプロトタイプを対応するグローバルデータに十分近いものにすることを目的としている。
論文 参考訳（メタデータ） (2021-05-01T13:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。