論文の概要: MP-FedCL: Multiprototype Federated Contrastive Learning for Edge
Intelligence
- arxiv url: http://arxiv.org/abs/2304.01950v2
- Date: Wed, 11 Oct 2023 14:21:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 13:45:30.306321
- Title: MP-FedCL: Multiprototype Federated Contrastive Learning for Edge
Intelligence
- Title(参考訳): mp-fedcl: エッジインテリジェンスのためのマルチプロトタイプフェデレートコントラスト学習
- Authors: Yu Qiao, Md. Shirajum Munir, Apurba Adhikary, Huy Q. Le, Avi Deb Raha,
Chaoning Zhang, Choong Seon Hong
- Abstract要約: 本稿では,MP-FedCL(Multi-prototype Federated contrastive learning approach)を提案する。
非IID条件下での単一プロトタイプ上でのマルチプロトタイプ戦略の有効性を示す。
MNIST,Digit-5,Office-10,DomainNetの実験結果から,本手法が複数のベースラインより優れていることが示された。
- 参考スコア(独自算出の注目度): 41.75096257083503
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning-assisted edge intelligence enables privacy protection in
modern intelligent services. However, not independent and identically
distributed (non-IID) distribution among edge clients can impair the local
model performance. The existing single prototype-based strategy represents a
class by using the mean of the feature space. However, feature spaces are
usually not clustered, and a single prototype may not represent a class well.
Motivated by this, this paper proposes a multi-prototype federated contrastive
learning approach (MP-FedCL) which demonstrates the effectiveness of using a
multi-prototype strategy over a single-prototype under non-IID settings,
including both label and feature skewness. Specifically, a multi-prototype
computation strategy based on \textit{k-means} is first proposed to capture
different embedding representations for each class space, using multiple
prototypes ($k$ centroids) to represent a class in the embedding space. In each
global round, the computed multiple prototypes and their respective model
parameters are sent to the edge server for aggregation into a global prototype
pool, which is then sent back to all clients to guide their local training.
Finally, local training for each client minimizes their own supervised learning
tasks and learns from shared prototypes in the global prototype pool through
supervised contrastive learning, which encourages them to learn knowledge
related to their own class from others and reduces the absorption of unrelated
knowledge in each global iteration. Experimental results on MNIST, Digit-5,
Office-10, and DomainNet show that our method outperforms multiple baselines,
with an average test accuracy improvement of about 4.6\% and 10.4\% under
feature and label non-IID distributions, respectively.
- Abstract(参考訳): フェデレートされた学習支援エッジインテリジェンスにより、現代のインテリジェントサービスにおけるプライバシー保護が可能になる。
しかし、エッジクライアント間の独立分布と同一分布(非IID)は、局所的なモデル性能を損なう可能性がある。
既存の単一のプロトタイプベースの戦略は、機能空間の平均を使ってクラスを表現する。
しかし、機能空間は通常クラスタ化されておらず、単一のプロトタイプはクラスをうまく表現できない。
そこで本研究では, ラベルと特徴歪の両方を含む非IID条件下で, 単一プロトタイプ上でのマルチプロトタイプ戦略の有効性を実証する, マルチプロトタイプ・フェデレート・コントラスト学習手法(MP-FedCL)を提案する。
特に、 \textit{k-means} に基づくマルチプロトタイプ計算戦略は、組込み空間内のクラスを表す複数のプロトタイプ (k$ centroids) を使用して、クラス空間ごとに異なる組込み表現をキャプチャするために最初に提案されている。
グローバルラウンド毎に、計算された複数のプロトタイプとそのモデルパラメータがエッジサーバに送信され、グローバルプロトタイププールに集約され、各クライアントに送られて、ローカルトレーニングのガイドとなる。
最後に、各クライアントのローカルトレーニングは、独自の教師付き学習タスクを最小化し、教師付きコントラスト学習を通じてグローバルプロトタイププール内の共有プロトタイプから学習する。
MNIST,Digit-5,Office-10,DomainNetによる実験結果から,提案手法は,特徴量およびラベル非IID分布において,平均テスト精度が約4.6\%,10.4\%向上した。
関連論文リスト
- Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。
ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。
分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
論文 参考訳(メタデータ) (2024-03-14T02:36:16Z) - Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes [45.13348636579529]
本研究では,新しいタスクである動的不均一フェデレート学習(Dynamic Heterogeneous Federated Learning, DHFL)について検討する。
コンセプトドリフトを緩和するために,実りある一般化知識を提供し,プロトタイプ空間の連続性を確保するために,プロトタイプとセマンティックプロトタイプを構築した。
実験結果から,提案手法は様々な環境下での最先端性能を実現することが示唆された。
論文 参考訳(メタデータ) (2023-12-15T15:28:25Z) - Re-thinking Federated Active Learning based on Inter-class Diversity [16.153683223016973]
2つのセレクタモデルの優越性は、大域的および局所的なクラス間多様性に依存することを示す。
局所的不均一度と大域的不均衡比の変動に頑健なFALサンプリング戦略であるLoGoを提案する。
LoGoは、38の実験的な設定の合計で、6つのアクティブな学習戦略を一貫して上回っている。
論文 参考訳(メタデータ) (2023-03-22T05:21:21Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Beyond the Prototype: Divide-and-conquer Proxies for Few-shot
Segmentation [63.910211095033596]
少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。
分割・分散の精神において, 単純かつ多目的な枠組みを提案する。
提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
論文 参考訳(メタデータ) (2022-04-21T06:21:14Z) - BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy
for Source-free Domain Adaptation [74.93176783541332]
Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。
ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。
SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
論文 参考訳(メタデータ) (2022-04-06T13:23:02Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳(メタデータ) (2022-03-28T21:15:32Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-09T08:14:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。