Fugu-MT 論文翻訳(概要): Overcoming Data Scarcity in Biomedical Imaging with a Foundational Multi-Task Model

論文の概要: Overcoming Data Scarcity in Biomedical Imaging with a Foundational Multi-Task Model

arxiv url: http://arxiv.org/abs/2311.09847v1
Date: Thu, 16 Nov 2023 12:20:25 GMT
ステータス: 処理完了
システム内更新日: 2023-11-17 14:18:47.756398
Title: Overcoming Data Scarcity in Biomedical Imaging with a Foundational Multi-Task Model
Title（参考訳）: 基礎的マルチタスクモデルによる生体イメージングにおけるデータ不足の克服
Authors: Raphael Sch\"afer, Till Nicke, Henning H\"ofener, Annkristin Lange, Dorit Merhof, Friedrich Feuerhake, Volkmar Schulz, Johannes Lotz, Fabian Kiessling
Abstract要約: 大規模に事前訓練された基礎モデルは、医療以外の領域でかなりの成功を収めている。本稿では,メモリ要件からトレーニングタスク数を分離するマルチタスク学習戦略を提案する。
参考スコア（独自算出の注目度）: 2.5994154212235685
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Foundational models, pretrained on a large scale, have demonstrated substantial success across non-medical domains. However, training these models typically requires large, comprehensive datasets, which contrasts with the smaller and more heterogeneous datasets common in biomedical imaging. Here, we propose a multi-task learning strategy that decouples the number of training tasks from memory requirements. We trained a Universal bioMedical PreTrained model (UMedPT) on a multi-task database including tomographic, microscopic, and X-ray images, with various labelling strategies such as classification, segmentation, and object detection. The UMedPT foundational model outperformed ImageNet pretraining and the previous state-of-the-art models. For tasks related to the pretraining database, it maintained its performance with only 1% of the original training data and without fine-tuning. For out-of-domain tasks it required not more than 50% of the original training data. In an external independent validation imaging features extracted using UMedPT proved to be a new standard for cross-center transferability.
Abstract（参考訳）: 基礎モデルは、大規模に訓練され、非医学領域でかなりの成功を収めている。しかし、これらのモデルのトレーニングには、概して大規模で包括的なデータセットが必要であり、バイオメディカルイメージングで一般的なより小さく不均一なデータセットとは対照的である。本稿では,メモリ要求からトレーニングタスク数を分離するマルチタスク学習戦略を提案する。トモグラフィー,顕微鏡,X線画像を含むマルチタスクデータベース上で,分類,セグメンテーション,オブジェクト検出などのラベル付け手法を用いて,UMedPT(Universal BioMedical PreTrained Model)を訓練した。 UMedPTの基礎モデルはImageNetの事前トレーニングと過去の最先端モデルよりも優れていた。事前トレーニングデータベースに関連するタスクについては、元のトレーニングデータのわずか1%で、微調整なしでパフォーマンスを維持した。ドメイン外のタスクでは、元のトレーニングデータの50%以上が必要だった。 UMedPTを用いて抽出した外部独立バリデーション画像特徴は, クロスセンター転送可能性の新たな標準となった。

関連論文リスト

MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文参考訳（メタデータ） (2024-03-20T09:17:22Z)
VISION-MAE: A Foundation Model for Medical Image Segmentation and Classification [36.8105960525233]
医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。 VISION-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットでトレーニングされている。その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
論文参考訳（メタデータ） (2024-02-01T21:45:12Z)
Building Universal Foundation Models for Medical Image Analysis with Spatially Adaptive Networks [5.661631789478932]
医用画像解析のための普遍的基礎モデルを提案する。 55の公開医用画像データセット上のマスク画像モデリング(MIM)を用いて、空間適応型視覚トークンーザ(SPAD-VT)と空間適応型視覚変換器(SPAD-ViT)を事前訓練する。下流の医用画像分類とセグメンテーションタスクの実験結果から,本モデルの性能とラベルの効率が向上したことを示す。
論文参考訳（メタデータ） (2023-12-12T08:33:45Z)
An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文参考訳（メタデータ） (2023-06-29T17:59:57Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2023-06-15T17:55:05Z)
Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文参考訳（メタデータ） (2023-04-20T11:40:21Z)
MultiTalent: A Multi-Dataset Approach to Medical Image Segmentation [1.146419670457951]
現在のプラクティスでは、モデルトレーニングと教師付き事前トレーニングを、1つまたはいくつかの類似したデータセットに制限している。我々は多種多様なクラス定義を持つ複数のCTデータセットを活用する手法であるMultiTalentを提案する。
論文参考訳（メタデータ） (2023-03-25T11:37:16Z)
The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
モデルの初期化には自己教師付きMAE技術を用いる。画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
論文参考訳（メタデータ） (2023-03-23T17:56:12Z)
Generalized Multi-Task Learning from Substantially Unlabeled Multi-Source Medical Image Data [11.061381376559053]
MultiMixは、病気の分類と解剖学的セグメンテーションを半教師付きで共同で学習する、新しいマルチタスク学習モデルである。トレーニングセットにおける多ソースラベル付きデータの多量化実験により,MultiMixの有効性が確認された。
論文参考訳（メタデータ） (2021-10-25T18:09:19Z)
Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文参考訳（メタデータ） (2020-05-05T08:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。