Fugu-MT 論文翻訳(概要): SelfFed: Self-supervised Federated Learning for Data Heterogeneity and Label Scarcity in IoMT

論文の概要: SelfFed: Self-supervised Federated Learning for Data Heterogeneity and Label Scarcity in IoMT

arxiv url: http://arxiv.org/abs/2307.01514v2
Date: Thu, 10 Oct 2024 14:27:22 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-11 14:29:08.839195
Title: SelfFed: Self-supervised Federated Learning for Data Heterogeneity and Label Scarcity in IoMT
Title（参考訳）: SelfFed: IoMTにおけるデータ不均一性とラベルスカルシティのための自己教師型フェデレーションラーニング
Authors: Sunder Ali Khowaja, Kapal Dev, Syed Muhammad Anwar, Marius George Linguraru,
Abstract要約: IoMT(Internet of Medical Things)のためのSelfFedフレームワークを提案する。提案するSelfFedフレームワークは,2つのフェーズで動作する。第1フェーズは,拡張モデリングを行う事前学習パラダイムである。第2フェーズは、コントラストネットワークと新しいアグリゲーション戦略を導入した微調整パラダイムである。
参考スコア（独自算出の注目度）: 17.07904450821442
License:
Abstract: Self-supervised learning in federated learning paradigm has been gaining a lot of interest both in industry and research due to the collaborative learning capability on unlabeled yet isolated data. However, self-supervised based federated learning strategies suffer from performance degradation due to label scarcity and diverse data distributions, i.e., data heterogeneity. In this paper, we propose the SelfFed framework for Internet of Medical Things (IoMT). Our proposed SelfFed framework works in two phases. The first phase is the pre-training paradigm that performs augmentive modeling using Swin Transformer based encoder in a decentralized manner. The first phase of SelfFed framework helps to overcome the data heterogeneity issue. The second phase is the fine-tuning paradigm that introduces contrastive network and a novel aggregation strategy that is trained on limited labeled data for a target task in a decentralized manner. This fine-tuning stage overcomes the label scarcity problem. We perform our experimental analysis on publicly available medical imaging datasets and show that our proposed SelfFed framework performs better when compared to existing baselines concerning non-independent and identically distributed (IID) data and label scarcity. Our method achieves a maximum improvement of 8.8% and 4.1% on Retina and COVID-FL datasets on non-IID dataset. Further, our proposed method outperforms existing baselines even when trained on a few (10%) labeled instances.
Abstract（参考訳）: フェデレートされた学習パラダイムにおける自己教師型学習は、ラベル付けされていないが孤立したデータに対する協調学習能力のために、産業と研究の両方に大きな関心を集めている。しかし,自己管理型フェデレート学習戦略は,ラベル不足や多種多様なデータ分布,すなわちデータ不均一性による性能劣化に悩まされている。本稿では,IoMT(Internet of Medical Things)のためのSelfFedフレームワークを提案する。提案するSelfFedフレームワークは2つのフェーズで動作する。最初のフェーズは、Swin Transformerベースのエンコーダを分散的な方法で拡張モデリングする事前学習パラダイムである。 SelfFedフレームワークの第1フェーズは、データの異種性の問題を克服するのに役立ちます。第2フェーズは、対照的なネットワークと、限定ラベル付きデータに基づいて訓練された新たな集約戦略を分散的に導入する、微調整パラダイムである。この微調整段階はラベル不足を克服する。我々は,医用画像データセットに関する実験分析を行い,非独立・同一分散(IID)データとラベル不足に関する既存のベースラインと比較して,提案するSelfFedフレームワークが優れていることを示す。非IIDデータセット上のRetinaおよびCOVID-FLデータセットの最大8.8%と4.1%の改善を実現した。さらに,提案手法は,少数の (10%) ラベル付きインスタンスでトレーニングした場合でも,既存のベースラインよりも優れていた。

関連論文リスト

A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning [14.466679488063217]
ワンショットフェデレーション学習(FL)は、サーバとクライアント間の通信を1ラウンドに制限する。モデルとデータの不均一性の両方を効果的に扱える統一的でデータフリーなワンショットFLフレームワーク(FedHydra)を提案する。
論文参考訳（メタデータ） (2024-10-28T15:20:52Z)
FedBiP: Heterogeneous One-Shot Federated Learning with Personalized Latent Diffusion Models [37.76576626976729]
特別な分散機械学習パラダイムであるOne-Shot Federated Learning (OSFL)が最近注目を集めている。現在の手法では,リアルタイムOSFLシステムに適用する場合,クライアントデータの不均一性やデータ量制限による課題に直面している。本稿では,事前学習したLCMをインスタンスレベルと概念レベルでパーソナライズするFederated Bi-Level Personalization (FedBiP)を提案する。
論文参考訳（メタデータ） (2024-10-07T07:45:18Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-10-11T08:24:50Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
論文参考訳（メタデータ） (2022-05-17T18:33:43Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文参考訳（メタデータ） (2021-02-09T03:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。