論文の概要: Federated Self-Supervised Contrastive Learning and Masked Autoencoder
for Dermatological Disease Diagnosis
- arxiv url: http://arxiv.org/abs/2208.11278v1
- Date: Wed, 24 Aug 2022 02:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:33:32.804796
- Title: Federated Self-Supervised Contrastive Learning and Masked Autoencoder
for Dermatological Disease Diagnosis
- Title（参考訳）: 皮膚疾患診断のための自己監督型コントラスト学習とマスク付きオートエンコーダ
- Authors: Yawen Wu, Dewen Zeng, Zhepeng Wang, Yi Sheng, Lei Yang, Alaina J.
James, Yiyu Shi, and Jingtong Hu
- Abstract要約: 皮膚科疾患の診断において, 移動皮膚科補助医が収集した個人データは, 患者の移動体に分散して存在する。
本稿では,ラベルが限定された皮膚疾患診断のための2つの自己指導型学習フレームワークを提案する。
皮膚疾患データセットの実験は、最先端のフレームワークよりも提案したフレームワークの精度が優れていることを示している。
- 参考スコア（独自算出の注目度）: 15.20791611477636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In dermatological disease diagnosis, the private data collected by mobile
dermatology assistants exist on distributed mobile devices of patients.
Federated learning (FL) can use decentralized data to train models while
keeping data local. Existing FL methods assume all the data have labels.
However, medical data often comes without full labels due to high labeling
costs. Self-supervised learning (SSL) methods, contrastive learning (CL) and
masked autoencoders (MAE), can leverage the unlabeled data to pre-train models,
followed by fine-tuning with limited labels. However, combining SSL and FL has
unique challenges. For example, CL requires diverse data but each device only
has limited data. For MAE, while Vision Transformer (ViT) based MAE has higher
accuracy over CNNs in centralized learning, MAE's performance in FL with
unlabeled data has not been investigated. Besides, the ViT synchronization
between the server and clients is different from traditional CNNs. Therefore,
special synchronization methods need to be designed. In this work, we propose
two federated self-supervised learning frameworks for dermatological disease
diagnosis with limited labels. The first one features lower computation costs,
suitable for mobile devices. The second one features high accuracy and fits
high-performance servers. Based on CL, we proposed federated contrastive
learning with feature sharing (FedCLF). Features are shared for diverse
contrastive information without sharing raw data for privacy. Based on MAE, we
proposed FedMAE. Knowledge split separates the global and local knowledge
learned from each client. Only global knowledge is aggregated for higher
generalization performance. Experiments on dermatological disease datasets show
superior accuracy of the proposed frameworks over state-of-the-arts.
- Abstract（参考訳）: 皮膚科疾患の診断において, 移動皮膚科補助医が収集した個人データは, 患者の移動体に分散して存在する。
フェデレートラーニング(FL)は、データをローカルに保ちながらモデルをトレーニングするために分散データを使用することができる。
既存のflメソッドは、すべてのデータがラベルを持つと仮定する。
しかし、ラベルのコストが高いため、医療データには完全なラベルがないことが多い。
自己教師付き学習(SSL)法、コントラスト学習(CL)法、マスク付きオートエンコーダ(MAE)法は、ラベルなしデータを事前訓練モデルに活用し、次いでラベル付き微調整を行う。
しかし、SSLとFLの組み合わせにはユニークな課題がある。
例えば、CLは多様なデータを必要とするが、各デバイスは限られたデータしか持たない。
MAEの場合、ビジョントランスフォーマー(ViT)ベースのMAEは集中学習においてCNNよりも精度が高いが、未ラベルデータを用いたFLにおけるMAEの性能は調査されていない。
さらに、サーバとクライアント間のViT同期は、従来のCNNとは異なる。
したがって、特別な同期方法を設計する必要がある。
本研究では,限定ラベルを用いた皮膚疾患診断のための連合型自己教師付き学習フレームワークを2つ提案する。
最初の1つは、モバイルデバイスに適した計算コストの低減だ。
2つ目は、高精度で高性能なサーバに適合する。
clに基づいて,機能共有(fedclf)を用いたフェデレートコントラスト学習を提案する。
機能は、プライバシーのために生データを共有せずに、多様なコントラスト情報のために共有される。
MAEに基づいてFedMAEを提案する。
知識分割は、各クライアントから学んだグローバルとローカルの知識を分離する。
一般化性能を高めるために、グローバルな知識のみを集約する。
皮膚科疾患データセットに関する実験は、最先端技術に対する提案フレームワークの優れた精度を示している。
関連論文リスト
- FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data [52.55123685248105]
心臓血管疾患(CVD)は、現在世界でも主要な死因であり、早期診断と治療の要点を浮き彫りにしている。
機械学習(ML)手法はCVDの早期診断に役立つが、その性能は高品質なデータへのアクセスに依存している。
本稿では、FedCVDという心臓血管疾患検出のための、世界初の実世界のFLベンチマークを示す。
論文 参考訳（メタデータ） (2024-10-28T02:24:01Z) - Histopathological Image Classification and Vulnerability Analysis using
Federated Learning [1.104960878651584]
グローバルモデルがそのコピーをトレーニングしているすべてのクライアントに送信し、クライアントは更新(重み)を返送する。
データプライバシは、クライアントのデバイス上でローカルに実行されるため、トレーニング中に保護される。
しかし、グローバルモデルはデータ中毒攻撃の影響を受けやすい。
論文 参考訳（メタデータ） (2023-10-11T10:55:14Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳（メタデータ） (2022-10-16T06:44:46Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳（メタデータ） (2022-09-05T14:49:34Z) - Distributed Contrastive Learning for Medical Image Segmentation [16.3860181959878]
監視されたディープラーニングは、高いパフォーマンスを達成するために大量のラベル付きデータを必要とします。
医用画像解析では、各サイトは限られた量のデータとラベルしか持たず、学習を効果的にしない。
アノテーションを限定した医用画像セグメンテーションのための2つのフェデレーション型自己教師型学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-07T20:47:05Z) - Federated Contrastive Learning for Volumetric Medical Image Segmentation [16.3860181959878]
フェデレートラーニング(FL)は、プライバシのためのトレーニングデータをローカルに保持しながら、共有モデルを学ぶことで、この点において役立つ。
従来のFLはトレーニングのために完全にラベル付けされたデータを必要とする。
そこで本研究では,アノテーションを限定したボリューム・メディカル・イメージ・セグメンテーションのためのFCLフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-23T03:47:23Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳（メタデータ） (2022-04-07T09:12:00Z) - Federated Contrastive Learning for Dermatological Disease Diagnosis via
On-device Learning [15.862924197017264]
限られたラベルを用いた皮膚疾患診断のためのオンデバイスフレームワークを提案する。
提案フレームワークは, 皮膚疾患診断のリコールと精度を, 最先端の方法と比較して効果的に改善する。
論文 参考訳（メタデータ） (2022-02-14T01:11:44Z) - FedSLD: Federated Learning with Shared Label Distribution for Medical
Image Classification [6.0088002781256185]
分類タスクのための共有ラベル分布(FedSLD)を用いたフェデレートラーニングを提案する。
FedSLDは、分布の知識が与えられた場合、最適化中に各データサンプルの局所的な目的への貢献を調整する。
その結果,FedSLDは従来のFL最適化アルゴリズムよりもコンバージェンス性能が高いことがわかった。
論文 参考訳（メタデータ） (2021-10-15T21:38:25Z) - Federated Semi-supervised Medical Image Classification via Inter-client
Relation Matching [58.26619456972598]
フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。
本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。
本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
論文 参考訳（メタデータ） (2021-06-16T07:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。