論文の概要: MP-FedCL: Multiprototype Federated Contrastive Learning for Edge Intelligence

• arxiv url: http://arxiv.org/abs/2304.01950v2
• Date: Wed, 11 Oct 2023 14:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 13:45:30.306321
• Title: MP-FedCL: Multiprototype Federated Contrastive Learning for Edge Intelligence
• Title（参考訳）: mp-fedcl: エッジインテリジェンスのためのマルチプロトタイプフェデレートコントラスト学習
• Authors: Yu Qiao, Md. Shirajum Munir, Apurba Adhikary, Huy Q. Le, Avi Deb Raha, Chaoning Zhang, Choong Seon Hong
• Abstract要約: 本稿では,MP-FedCL(Multi-prototype Federated contrastive learning approach)を提案する。 非IID条件下での単一プロトタイプ上でのマルチプロトタイプ戦略の有効性を示す。 MNIST,Digit-5,Office-10,DomainNetの実験結果から,本手法が複数のベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 41.75096257083503
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning-assisted edge intelligence enables privacy protection in modern intelligent services. However, not independent and identically distributed (non-IID) distribution among edge clients can impair the local model performance. The existing single prototype-based strategy represents a class by using the mean of the feature space. However, feature spaces are usually not clustered, and a single prototype may not represent a class well. Motivated by this, this paper proposes a multi-prototype federated contrastive learning approach (MP-FedCL) which demonstrates the effectiveness of using a multi-prototype strategy over a single-prototype under non-IID settings, including both label and feature skewness. Specifically, a multi-prototype computation strategy based on \textit{k-means} is first proposed to capture different embedding representations for each class space, using multiple prototypes ($k$ centroids) to represent a class in the embedding space. In each global round, the computed multiple prototypes and their respective model parameters are sent to the edge server for aggregation into a global prototype pool, which is then sent back to all clients to guide their local training. Finally, local training for each client minimizes their own supervised learning tasks and learns from shared prototypes in the global prototype pool through supervised contrastive learning, which encourages them to learn knowledge related to their own class from others and reduces the absorption of unrelated knowledge in each global iteration. Experimental results on MNIST, Digit-5, Office-10, and DomainNet show that our method outperforms multiple baselines, with an average test accuracy improvement of about 4.6\% and 10.4\% under feature and label non-IID distributions, respectively.
• Abstract（参考訳）: フェデレートされた学習支援エッジインテリジェンスにより、現代のインテリジェントサービスにおけるプライバシー保護が可能になる。 しかし、エッジクライアント間の独立分布と同一分布(非IID)は、局所的なモデル性能を損なう可能性がある。 既存の単一のプロトタイプベースの戦略は、機能空間の平均を使ってクラスを表現する。 しかし、機能空間は通常クラスタ化されておらず、単一のプロトタイプはクラスをうまく表現できない。 そこで本研究では, ラベルと特徴歪の両方を含む非IID条件下で, 単一プロトタイプ上でのマルチプロトタイプ戦略の有効性を実証する, マルチプロトタイプ・フェデレート・コントラスト学習手法(MP-FedCL)を提案する。 特に、 \textit{k-means} に基づくマルチプロトタイプ計算戦略は、組込み空間内のクラスを表す複数のプロトタイプ (k$ centroids) を使用して、クラス空間ごとに異なる組込み表現をキャプチャするために最初に提案されている。 グローバルラウンド毎に、計算された複数のプロトタイプとそのモデルパラメータがエッジサーバに送信され、グローバルプロトタイププールに集約され、各クライアントに送られて、ローカルトレーニングのガイドとなる。 最後に、各クライアントのローカルトレーニングは、独自の教師付き学習タスクを最小化し、教師付きコントラスト学習を通じてグローバルプロトタイププール内の共有プロトタイプから学習する。 MNIST,Digit-5,Office-10,DomainNetによる実験結果から,提案手法は,特徴量およびラベル非IID分布において,平均テスト精度が約4.6\%,10.4\%向上した。

関連論文リスト

• An Enhanced Federated Prototype Learning Method under Domain Shift [36.73020712815063]
  Federated Learning (FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 最近の論文では、分散対応のデュアルレベルプロトタイプクラスタリングを導入し、新しい$alpha$-sparsityプロトタイプロスを用いる。 Digit-5、Office-10、DomainNetデータセットの評価は、我々の手法が既存のアプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-27T09:28:27Z)
• LC-Protonets: Multi-label Few-shot learning for world music audio tagging [65.72891334156706]
  ラベル結合型プロトタイプネットワーク(LC-Protonets)を導入し,複数ラベルの複数ショット分類の問題に対処する。 LC-Protonetsは、限られたトレーニング項目に存在するラベルのパワーセットから、ラベルの組み合わせごとに1つのプロトタイプを生成する。 本手法は,様々な文化をカバーし,現代音楽と伝統音楽の両方を含む,多様な音楽データセットにまたがる自動音声タグ付けに適用する。
  論文  参考訳（メタデータ） (2024-09-17T15:13:07Z)
• FedHide: Federated Learning by Hiding in the Neighbors [12.71494268219787]
  本稿では,ネットワークを分類や検証タスクに組み込むためのプロトタイプベースのフェデレーション学習手法を提案する。 提案手法では, プロキシクラスプロトタイプを近接する近傍に線形に結合することで, プロキシクラスプロトタイプを生成する。 このテクニックは、クライアントが差別的な埋め込みネットワークを学習しながら、真のクラスプロトタイプを隠蔽する。
  論文  参考訳（メタデータ） (2024-09-12T07:37:49Z)
• ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation [0.8213829427624407]
  ドメイン適応型セマンティックセグメンテーションは、ラベルのないターゲットドメインに対して正確で高密度な予測を生成することを目的としている。 本稿では,GMMを比較学習に組み込んだProtoGMMモデルを提案する。 クラス間のセマンティックな類似性の向上,クラス間の類似性の低下,およびソースドメインとターゲットドメイン間のドメインアライメントを実現するために,マルチプロトタイプコントラスト学習を採用する。
  論文  参考訳（メタデータ） (2024-06-27T14:50:50Z)
• Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
  フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T02:36:16Z)
• Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation [63.910211095033596]
  少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。 分割・分散の精神において, 単純かつ多目的な枠組みを提案する。 提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:21:14Z)
• BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy for Source-free Domain Adaptation [74.93176783541332]
  Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。 ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。 SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:23:02Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。