論文の概要: SelfFed: Self-supervised Federated Learning for Data Heterogeneity and Label Scarcity in IoMT

• arxiv url: http://arxiv.org/abs/2307.01514v2
• Date: Thu, 10 Oct 2024 14:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:08.839195
• Title: SelfFed: Self-supervised Federated Learning for Data Heterogeneity and Label Scarcity in IoMT
• Title（参考訳）: SelfFed: IoMTにおけるデータ不均一性とラベルスカルシティのための自己教師型フェデレーションラーニング
• Authors: Sunder Ali Khowaja, Kapal Dev, Syed Muhammad Anwar, Marius George Linguraru,
• Abstract要約: IoMT(Internet of Medical Things)のためのSelfFedフレームワークを提案する。 提案するSelfFedフレームワークは,2つのフェーズで動作する。第1フェーズは,拡張モデリングを行う事前学習パラダイムである。 第2フェーズは、コントラストネットワークと新しいアグリゲーション戦略を導入した微調整パラダイムである。
• 参考スコア（独自算出の注目度）: 17.07904450821442
• License:
• Abstract: Self-supervised learning in federated learning paradigm has been gaining a lot of interest both in industry and research due to the collaborative learning capability on unlabeled yet isolated data. However, self-supervised based federated learning strategies suffer from performance degradation due to label scarcity and diverse data distributions, i.e., data heterogeneity. In this paper, we propose the SelfFed framework for Internet of Medical Things (IoMT). Our proposed SelfFed framework works in two phases. The first phase is the pre-training paradigm that performs augmentive modeling using Swin Transformer based encoder in a decentralized manner. The first phase of SelfFed framework helps to overcome the data heterogeneity issue. The second phase is the fine-tuning paradigm that introduces contrastive network and a novel aggregation strategy that is trained on limited labeled data for a target task in a decentralized manner. This fine-tuning stage overcomes the label scarcity problem. We perform our experimental analysis on publicly available medical imaging datasets and show that our proposed SelfFed framework performs better when compared to existing baselines concerning non-independent and identically distributed (IID) data and label scarcity. Our method achieves a maximum improvement of 8.8% and 4.1% on Retina and COVID-FL datasets on non-IID dataset. Further, our proposed method outperforms existing baselines even when trained on a few (10%) labeled instances.
• Abstract（参考訳）: フェデレートされた学習パラダイムにおける自己教師型学習は、ラベル付けされていないが孤立したデータに対する協調学習能力のために、産業と研究の両方に大きな関心を集めている。 しかし,自己管理型フェデレート学習戦略は,ラベル不足や多種多様なデータ分布,すなわちデータ不均一性による性能劣化に悩まされている。 本稿では,IoMT(Internet of Medical Things)のためのSelfFedフレームワークを提案する。 提案するSelfFedフレームワークは2つのフェーズで動作する。 最初のフェーズは、Swin Transformerベースのエンコーダを分散的な方法で拡張モデリングする事前学習パラダイムである。 SelfFedフレームワークの第1フェーズは、データの異種性の問題を克服するのに役立ちます。 第2フェーズは、対照的なネットワークと、限定ラベル付きデータに基づいて訓練された新たな集約戦略を分散的に導入する、微調整パラダイムである。 この微調整段階はラベル不足を克服する。 我々は,医用画像データセットに関する実験分析を行い,非独立・同一分散(IID)データとラベル不足に関する既存のベースラインと比較して,提案するSelfFedフレームワークが優れていることを示す。 非IIDデータセット上のRetinaおよびCOVID-FLデータセットの最大8.8%と4.1%の改善を実現した。 さらに,提案手法は,少数の (10%) ラベル付きインスタンスでトレーニングした場合でも,既存のベースラインよりも優れていた。

関連論文リスト

• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• Investigation of Federated Learning Algorithms for Retinal Optical Coherence Tomography Image Classification with Statistical Heterogeneity [6.318288071829899]
  我々は,OCT画像分類モデルを分散的に学習するためのFedAvgとFedProxの有効性を検討した。 IID と Non-IID 設定で複数のクライアントに公開可能な OCT データセットを分割し,各クライアントのサブセットをローカルにトレーニングした。
  論文  参考訳（メタデータ） (2024-02-15T15:58:42Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• Federated Learning for Data and Model Heterogeneity in Medical Imaging [19.0931609571649]
  Federated Learning(FL)は、複数のクライアントがデータを互いに中央サーバと共有することなく、協調学習に参加する、進化する機械学習手法である。 病院や産業などの現実世界のアプリケーションでは、FLはデータ不均一性とモデル不均一性の課題に対処する。 このような問題を解決するためにMDH-FL(Exploiting Model and Data Heterogeneity in FL)を提案する。
  論文  参考訳（メタデータ） (2023-07-31T21:08:45Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
  医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。 具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。 自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
  論文  参考訳（メタデータ） (2022-05-17T18:33:43Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• An Experimental Study of Data Heterogeneity in Federated Learning Methods for Medical Imaging [8.984706828657814]
  フェデレーション学習は、複数の機関が、プライバシー保護の方法で、ローカルデータ上で機械学習モデルを協調的にトレーニングすることを可能にする。 本研究では,データ不均一性の分類体系が,量スキュー,ラベル分布スキュー,画像取得スキューなどのフェデレーション学習方法に与える影響について検討した。 本稿では,データ量スキューの重み付き平均値,重み付き損失量,ラベル分布スキューのバッチ正規化平均値など,データの不均一性からの性能低下を克服するいくつかの緩和策を提案する。
  論文  参考訳（メタデータ） (2021-07-18T05:47:48Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。