論文の概要: Continual Self-supervised Learning: Towards Universal Multi-modal
Medical Data Representation Learning
- arxiv url: http://arxiv.org/abs/2311.17597v2
- Date: Thu, 30 Nov 2023 02:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 11:22:52.697558
- Title: Continual Self-supervised Learning: Towards Universal Multi-modal
Medical Data Representation Learning
- Title（参考訳）: 継続的自己指導型学習 : ユニバーサルマルチモーダル医療データ表現学習を目指して
- Authors: Yiwen Ye, Yutong Xie, Jianpeng Zhang, Ziyang Chen, Qi Wu, Yong Xia
- Abstract要約: 自己教師付き学習は、医用画像解析のための効率的な事前学習方法である。
マルチモーダル医療データに対する継続的自己教師型学習手法であるMedCoSSを提案する。
我々は、大規模マルチモーダルなラベルなしデータセット上で、継続的自己教師付き事前学習を行う。
- 参考スコア（独自算出の注目度）: 36.33882718631217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning is an efficient pre-training method for medical
image analysis. However, current research is mostly confined to
specific-modality data pre-training, consuming considerable time and resources
without achieving universality across different modalities. A straightforward
solution is combining all modality data for joint self-supervised pre-training,
which poses practical challenges. Firstly, our experiments reveal conflicts in
representation learning as the number of modalities increases. Secondly,
multi-modal data collected in advance cannot cover all real-world scenarios. In
this paper, we reconsider versatile self-supervised learning from the
perspective of continual learning and propose MedCoSS, a continuous
self-supervised learning approach for multi-modal medical data. Unlike joint
self-supervised learning, MedCoSS assigns different modality data to different
training stages, forming a multi-stage pre-training process. To balance modal
conflicts and prevent catastrophic forgetting, we propose a rehearsal-based
continual learning method. We introduce the k-means sampling strategy to retain
data from previous modalities and rehearse it when learning new modalities.
Instead of executing the pretext task on buffer data, a feature distillation
strategy and an intra-modal mixup strategy are applied to these data for
knowledge retention. We conduct continuous self-supervised pre-training on a
large-scale multi-modal unlabeled dataset, including clinical reports, X-rays,
CT scans, MRI scans, and pathological images. Experimental results demonstrate
MedCoSS's exceptional generalization ability across nine downstream datasets
and its significant scalability in integrating new modality data. Code and
pre-trained weight are available at https://github.com/yeerwen/MedCoSS.
- Abstract（参考訳）: 自己教師付き学習は、医用画像解析のための効率的な事前学習方法である。
しかし、現在の研究は主に特定のモダリティデータの事前学習に限られており、様々なモダリティの普遍性を達成せずにかなりの時間と資源を消費している。
簡単な解決策は、共同で指導する事前学習のためのすべてのモダリティデータを組み合わせることである。
まず,モダリティの数が増えるにつれて,表現学習における矛盾を明らかにする。
第二に、事前に収集されたマルチモーダルデータは、すべての実世界のシナリオをカバーできない。
本稿では,連続学習の観点から多目的自己教師型学習を再考し,マルチモーダル医療データに対する継続的自己教師型学習アプローチであるMedCoSSを提案する。
共同教師付き学習とは異なり、MedCoSSは異なる訓練段階に異なるモダリティデータを割り当て、多段階事前学習プロセスを形成する。
モーダルコンフリクトのバランスを保ち,破滅的忘れを防止するために,リハーサルに基づく連続学習手法を提案する。
我々は,k-meansサンプリング戦略を導入し,新しいモーダリティを学ぶ際に,先行モダリティからデータを保持し,リハーサルする。
バッファデータ上でプリテキストタスクを実行する代わりに、これらのデータに特徴蒸留戦略とモード内混合戦略を適用して知識保持を行う。
臨床報告, x線, ctスキャン, mriスキャン, 病理画像など, 大規模マルチモーダル非ラベルデータセット上で, 自己教師あり事前訓練を継続する。
実験により、MedCoSSの9つの下流データセットにまたがる例外的な一般化能力と、新しいモダリティデータの統合における大きなスケーラビリティを示す。
コードとトレーニング済みの重量はhttps://github.com/yeerwen/medcoss.com/で確認できる。
関連論文リスト
- Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。
より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。
さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
論文 参考訳（メタデータ） (2024-09-17T17:22:35Z) - Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。
また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。
本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
論文 参考訳（メタデータ） (2024-05-24T11:18:13Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-11-17T18:59:49Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳（メタデータ） (2022-09-21T12:30:05Z) - Decentralized Distributed Learning with Privacy-Preserving Data
Synthesis [9.276097219140073]
医療分野では、患者と臨床データの均一性を生かして、多施設共同研究がより一般化可能な発見をもたらすことがしばしばある。
最近のプライバシー規制は、データの共有を妨げ、その結果、診断と予後をサポートする機械学習ベースのソリューションを考案する。
ローカルノードの機能を統合する分散分散手法を提案し、プライバシを維持しながら複数のデータセットをまたいで一般化可能なモデルを提供する。
論文 参考訳（メタデータ） (2022-06-20T23:49:38Z) - Federated Cycling (FedCy): Semi-supervised Federated Learning of
Surgical Phases [57.90226879210227]
FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。
外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
論文 参考訳（メタデータ） (2022-03-14T17:44:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。