論文の概要: Label-Efficient Self-Supervised Federated Learning for Tackling Data
Heterogeneity in Medical Imaging
- arxiv url: http://arxiv.org/abs/2205.08576v1
- Date: Tue, 17 May 2022 18:33:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 04:45:17.363189
- Title: Label-Efficient Self-Supervised Federated Learning for Tackling Data
Heterogeneity in Medical Imaging
- Title（参考訳）: 医用画像におけるラベル効率のよい自己監督型フェデレーション学習
- Authors: Rui Yan, Liangqiong Qu, Qingyue Wei, Shih-Cheng Huang, Liyue Shen,
Daniel Rubin, Lei Xing, Yuyin Zhou
- Abstract要約: 医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。
具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。
自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
- 参考スコア（独自算出の注目度）: 23.08596805950814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The curation of large-scale medical datasets from multiple institutions
necessary for training deep learning models is challenged by the difficulty in
sharing patient data with privacy-preserving. Federated learning (FL), a
paradigm that enables privacy-protected collaborative learning among different
institutions, is a promising solution to this challenge. However, FL generally
suffers from performance deterioration due to heterogeneous data distributions
across institutions and the lack of quality labeled data. In this paper, we
present a robust and label-efficient self-supervised FL framework for medical
image analysis. Specifically, we introduce a novel distributed self-supervised
pre-training paradigm into the existing FL pipeline (i.e., pre-training the
models directly on the decentralized target task datasets). Built upon the
recent success of Vision Transformers, we employ masked image encoding tasks
for self-supervised pre-training, to facilitate more effective knowledge
transfer to downstream federated models. Extensive empirical results on
simulated and real-world medical imaging federated datasets show that
self-supervised pre-training largely benefits the robustness of federated
models against various degrees of data heterogeneity. Notably, under severe
data heterogeneity, our method, without relying on any additional pre-training
data, achieves an improvement of 5.06%, 1.53% and 4.58% in test accuracy on
retinal, dermatology and chest X-ray classification compared with the
supervised baseline with ImageNet pre-training. Moreover, we show that our
self-supervised FL algorithm generalizes well to out-of-distribution data and
learns federated models more effectively in limited label scenarios, surpassing
the supervised baseline by 10.36% and the semi-supervised FL method by 8.3% in
test accuracy.
- Abstract（参考訳）: ディープラーニングモデルのトレーニングに必要な複数の機関からの大規模医療データセットのキュレーションには,プライバシ保護を伴う患者データ共有の困難さが課題となっている。
異なる機関間でプライバシー保護された協調学習を可能にするパラダイムであるフェデレートラーニング(FL)は、この課題に対する有望な解決策である。
しかし、FLは、組織間での不均一なデータ分布と品質ラベル付きデータの欠如により、一般に性能劣化に悩まされる。
本稿では,医療画像解析のためのロバストでラベル効率の高い自己教師付きflフレームワークを提案する。
具体的には,既存のflパイプライン(分散対象タスクデータセット上でモデルを直接事前学習する)に,新たな分散自己教師付き事前学習パラダイムを導入する。
近年の視覚トランスフォーマーの成功を基盤として,自己教師付き事前学習のためのマスク画像符号化タスクを採用し,下流連合モデルへのより効果的な知識伝達を容易にする。
シミュレーションおよび実世界の医療画像フェデレーションデータセットにおける広範囲な実験結果から,自己教師付き事前学習は,様々なデータの不均一性に対するフェデレーションモデルの頑健性に大きく寄与することが示された。
特に, 厳密なデータ均一性の下では, 追加の事前トレーニングデータに頼ることなく, 網膜, 皮膚学, 胸部X線分類における検査精度が5.06%, 1.53%, 4.58%向上した。
さらに,我々の自己教師付きFLアルゴリズムは,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習し,教師付きベースラインを10.36%上回り,半教師付きFL法を8.3%上回る結果を得た。
関連論文リスト
- FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data [52.55123685248105]
心臓血管疾患(CVD)は、現在世界でも主要な死因であり、早期診断と治療の要点を浮き彫りにしている。
機械学習(ML)手法はCVDの早期診断に役立つが、その性能は高品質なデータへのアクセスに依存している。
本稿では、FedCVDという心臓血管疾患検出のための、世界初の実世界のFLベンチマークを示す。
論文 参考訳（メタデータ） (2024-10-28T02:24:01Z) - Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。
より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。
さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
論文 参考訳（メタデータ） (2024-09-17T17:22:35Z) - FedKBP: Federated dose prediction framework for knowledge-based planning in radiation therapy [0.5575343193009424]
ドーズ予測は、患者固有の線量分布を自動的に生成することにより、知識ベース計画(KBP)において重要な役割を果たす。
深層学習に基づく線量予測手法の最近の進歩は、データコントリビュータ間の協調が必要である。
フェデレーションラーニング(FL)がソリューションとして登場し、医療センターは患者のデータのプライバシーを損なうことなく、ディープラーニングモデルを共同で訓練することができる。
論文 参考訳（メタデータ） (2024-08-17T14:57:14Z) - Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity [4.84693589377679]
医用ビジョン言語事前学習のためのFedDRA(Federated Distributionally Robust Alignment)を提案する。
FedDRAは異種条件下で頑健な視覚言語アライメントを実現する。
また,本手法は様々な医学的事前訓練法にも適している。
論文 参考訳（メタデータ） (2024-04-05T01:17:25Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Federated Cycling (FedCy): Semi-supervised Federated Learning of
Surgical Phases [57.90226879210227]
FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。
外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
論文 参考訳（メタデータ） (2022-03-14T17:44:53Z) - Improving Performance of Federated Learning based Medical Image Analysis
in Non-IID Settings using Image Augmentation [1.5469452301122177]
フェデレーテッド・ラーニング(FL)は、厳格なプライバシー制約の下で働く義務のある患者、人々、企業、業界に属する機密データを利用するのに適したソリューションである。
FLはデータプライバシとセキュリティの問題を主にあるいは部分的にサポートし、複数のエッジデバイスや組織が、複数のローカルデータを使用してグローバルモデルのトレーニングに、それらを必要とせずにコントリビュートするための、モデルの代替手段を提供する。
本稿では,FLの非IIDデータ問題に対処するため,画像の増大によりクライアントのデータ分散を動的にバランスさせる手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T10:05:42Z) - FedSLD: Federated Learning with Shared Label Distribution for Medical
Image Classification [6.0088002781256185]
分類タスクのための共有ラベル分布(FedSLD)を用いたフェデレートラーニングを提案する。
FedSLDは、分布の知識が与えられた場合、最適化中に各データサンプルの局所的な目的への貢献を調整する。
その結果,FedSLDは従来のFL最適化アルゴリズムよりもコンバージェンス性能が高いことがわかった。
論文 参考訳（メタデータ） (2021-10-15T21:38:25Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳（メタデータ） (2021-07-06T12:57:32Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳（メタデータ） (2020-05-03T02:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。