論文の概要: Unsupervised Federated Optimization at the Edge: D2D-Enabled Learning without Labels
- arxiv url: http://arxiv.org/abs/2404.09861v1
- Date: Mon, 15 Apr 2024 15:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:47:37.222242
- Title: Unsupervised Federated Optimization at the Edge: D2D-Enabled Learning without Labels
- Title（参考訳）: エッジにおける教師なしフェデレーション最適化:ラベルのないD2D-Enabled Learning
- Authors: Satyavrat Wagle, Seyyedali Hosseinalipour, Naji Khosravan, Christopher G. Brinton,
- Abstract要約: Federated Learning (FL)は、分散機械学習(ML)の一般的なソリューションである
tt CF-CLは、明示的な(生データ)または暗黙的な(埋め込み)情報をデバイス間通信(D2D)を介して交換する、ローカルなデバイス連携を採用している。
- 参考スコア（独自算出の注目度）: 14.696896223432507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a popular solution for distributed machine learning (ML). While FL has traditionally been studied for supervised ML tasks, in many applications, it is impractical to assume availability of labeled data across devices. To this end, we develop Cooperative Federated unsupervised Contrastive Learning ({\tt CF-CL)} to facilitate FL across edge devices with unlabeled datasets. {\tt CF-CL} employs local device cooperation where either explicit (i.e., raw data) or implicit (i.e., embeddings) information is exchanged through device-to-device (D2D) communications to improve local diversity. Specifically, we introduce a \textit{smart information push-pull} methodology for data/embedding exchange tailored to FL settings with either soft or strict data privacy restrictions. Information sharing is conducted through a probabilistic importance sampling technique at receivers leveraging a carefully crafted reserve dataset provided by transmitters. In the implicit case, embedding exchange is further integrated into the local ML training at the devices via a regularization term incorporated into the contrastive loss, augmented with a dynamic contrastive margin to adjust the volume of latent space explored. Numerical evaluations demonstrate that {\tt CF-CL} leads to alignment of latent spaces learned across devices, results in faster and more efficient global model training, and is effective in extreme non-i.i.d. data distribution settings across devices.
- Abstract（参考訳）: Federated Learning(FL)は、分散機械学習(ML)の一般的なソリューションである。
FLは従来、教師付きMLタスクのために研究されてきたが、多くのアプリケーションでは、デバイス間でラベル付きデータの可用性を前提とするのは現実的ではない。
そこで我々は,ラベルのないデータセットを持つエッジデバイス間のFLを容易にするために,協調型非教師付きコントラスト学習({\tt CF-CL)を開発した。
CF-CL {\displaystyle {\tt CF-CL} は、明示的な(生データ)または暗黙的な(埋め込み)情報をデバイス間通信(D2D)を介して交換することで、局所的な多様性を向上させる。
具体的には、FL設定に合わせたデータ/埋め込み交換に、ソフトまたは厳密なデータプライバシー制限を課すために、textit{smart information push-pull}メソッドを導入する。
情報共有は、送信機が提供する慎重に構築された予備データセットを活用する受信機における確率的重要サンプリング技術によって行われる。
暗黙の場合、埋め込み交換は、コントラスト損失に組み込まれた正規化項を介してデバイスにおけるローカルMLトレーニングにさらに統合され、ダイナミックコントラストマージンで拡張され、探索された潜伏空間の体積を調節する。
CF-CL {\displaystyle {\tt CF-CL} はデバイス間で学習された遅延空間のアライメントを導き、その結果より高速で効率的なグローバルモデルトレーニングとなり、デバイス間での極端なデータ分散設定に有効であることを示す。
関連論文リスト
- Smart Information Exchange for Unsupervised Federated Learning via
Reinforcement Learning [11.819765040106185]
本稿では,Reinforcement Learning を用いたデータ転送のための最適グラフ作成手法を提案する。
目標は、環境の制約を考慮して最も利益をもたらすリンクを作ることです。
数値解析により,提案手法の収束速度とトラグラーレジリエンスの利点が示された。
論文 参考訳（メタデータ） (2024-02-15T00:14:41Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Embedding Alignment for Unsupervised Federated Learning via Smart Data
Exchange [21.789359767103154]
フェデレートラーニング(FL)は、分散機械学習(ML)の最も有望なソリューションの1つとして認識されている。
我々は、ラベルのないデータセットを持つエッジデバイス間のFLのための新しい手法CF-CL(Cooperative Federated Unsupervised Contrastive Learning)を開発した。
論文 参考訳（メタデータ） (2022-08-04T19:26:59Z) - Disentangled Representation Learning for RF Fingerprint Extraction under
Unknown Channel Statistics [77.13542705329328]
本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。
提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。
実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-08-04T15:46:48Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Jointly Learning from Decentralized (Federated) and Centralized Data to
Mitigate Distribution Shift [2.9965560298318468]
フェデレートラーニング(FL)は、エッジデバイス上で学習が一括して行われる、ますます使われるパラダイムである。
デバイス上のトレーニング例では、推論時に発生すると思われるデータ入力が不足している可能性がある。
本稿では、FLと混在するデータセンターデータの選択的使用法である、このシフトを緩和する方法を提案する。
論文 参考訳（メタデータ） (2021-11-23T20:51:24Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z) - Federated Learning with Cooperating Devices: A Consensus Approach for
Massive IoT Networks [8.456633924613456]
分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。
提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。
このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
論文 参考訳（メタデータ） (2019-12-27T15:16:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。