論文の概要: How Well Do Supervised 3D Models Transfer to Medical Imaging Tasks?

• arxiv url: http://arxiv.org/abs/2501.11253v1
• Date: Mon, 20 Jan 2025 03:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:20:58.555398
• Title: How Well Do Supervised 3D Models Transfer to Medical Imaging Tasks?
• Title（参考訳）: 医用画像への3次元モデル転送はどの程度改善されるか?
• Authors: Wenxuan Li, Alan Yuille, Zongwei Zhou,
• Abstract要約: 本稿では,移動学習のためのAbdomenAtlas 1.1で事前訓練したモデルスイートを開発する。 予備分析の結果,21個のCTボリューム,672個のマスク,40個のGPU時間でトレーニングしたモデルは,5,050個のCTボリュームと1,152個のGPU時間でトレーニングしたモデルと同様の転送学習能力を有することがわかった。
• 参考スコア（独自算出の注目度）: 8.82276658079814
• License:
• Abstract: The pre-training and fine-tuning paradigm has become prominent in transfer learning. For example, if the model is pre-trained on ImageNet and then fine-tuned to PASCAL, it can significantly outperform that trained on PASCAL from scratch. While ImageNet pre-training has shown enormous success, it is formed in 2D, and the learned features are for classification tasks; when transferring to more diverse tasks, like 3D image segmentation, its performance is inevitably compromised due to the deviation from the original ImageNet context. A significant challenge lies in the lack of large, annotated 3D datasets rivaling the scale of ImageNet for model pre-training. To overcome this challenge, we make two contributions. Firstly, we construct AbdomenAtlas 1.1 that comprises 9,262 three-dimensional computed tomography (CT) volumes with high-quality, per-voxel annotations of 25 anatomical structures and pseudo annotations of seven tumor types. Secondly, we develop a suite of models that are pre-trained on our AbdomenAtlas 1.1 for transfer learning. Our preliminary analyses indicate that the model trained only with 21 CT volumes, 672 masks, and 40 GPU hours has a transfer learning ability similar to the model trained with 5,050 (unlabeled) CT volumes and 1,152 GPU hours. More importantly, the transfer learning ability of supervised models can further scale up with larger annotated datasets, achieving significantly better performance than preexisting pre-trained models, irrespective of their pre-training methodologies or data sources. We hope this study can facilitate collective efforts in constructing larger 3D medical datasets and more releases of supervised pre-trained models.
• Abstract（参考訳）: 事前学習と微調整のパラダイムは、トランスファーラーニングにおいて顕著になっている。 例えば、モデルがImageNet上で事前トレーニングされ、PASCALに微調整された場合、PASCALでトレーニングされたモデルがスクラッチから大幅にパフォーマンスが向上する可能性がある。 ImageNetの事前トレーニングは大きな成功を収めているものの、2Dで形成され、学習された機能は分類タスクのためのものである。 重要な課題は、モデル事前トレーニングにImageNetのスケールに匹敵する、大規模で注釈付き3Dデータセットの欠如である。 この課題を克服するために、私たちは2つのコントリビューションを行います。 まず,AbdomenAtlas 1.1を構築し,9,262 個の3次元CTボリュームと,25 個の解剖学的構造と7種類の腫瘍の疑似アノテーションを組み合わせた。 第2に、移動学習のためのAbdomenAtlas 1.1で事前訓練されたモデルの組を開発する。 予備分析の結果,21個のCTボリューム,672個のマスク,40個のGPU時間でトレーニングしたモデルは,5,050個のCTボリュームと1,152個のGPU時間でトレーニングしたモデルと同様の転送学習能力を有することがわかった。 さらに重要なのは、教師付きモデルの転送学習能力は、事前トレーニングの方法論やデータソースに関係なく、より大きな注釈付きデータセットでさらにスケールアップでき、既存のトレーニング済みモデルよりも大幅にパフォーマンスが向上することです。 本研究は,より大規模な3次元医療データセットの構築と,教師付き事前訓練モデルのリリースを促進することを目的としている。

関連論文リスト

• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
  大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。 これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。 3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-02T14:46:58Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
  モデルの初期化には自己教師付きMAE技術を用いる。 画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:12Z)
• Generative Transfer Learning: Covid-19 Classification with a few Chest X-ray Images [0.0]
  深層学習モデルは解釈を迅速化し、人間の専門家の仕事を軽減することができる。 Deep Transfer Learningは、パブリックドメインで事前訓練されたモデルを使用することで、この問題に対処する。 本稿では,既存の大規模事前学習モデルと同様に,単一の概念に基づいて事前学習した簡易な生成源モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:37:52Z)
• P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting [94.11915008006483]
  本稿では,ポイントクラウド解析のための新しいポイント・ツー・Pixelを提案する。 ScanObjectNNの最も難しい設定では,89.3%の精度が得られる。 また,本フレームワークは,ModelNet分類とShapeNet Part Codeで非常に競争力のある性能を示す。
  論文  参考訳（メタデータ） (2022-08-04T17:59:03Z)
• On Data Scaling in Masked Image Modeling [36.00347416479826]
  マスク付き画像モデリング(MIM)は、大きなデータの恩恵を受けられないと疑われている。 ImageNet-1Kの10%から完全なImageNet-22Kまで、モデルサイズは4900万から10億まで、トレーニング期間は125万から5万まで。 事前トレーニングにおけるバリデーションの損失は、複数のタスクの微調整においてモデルがどれだけうまく機能するかを測定するのに良い指標である。
  論文  参考訳（メタデータ） (2022-06-09T17:58:24Z)
• Models Genesis [10.929445262793116]
  自然画像から医用画像への変換学習は、医用画像解析のためのディープラーニングにおける最も実践的なパラダイムの1つとして確立されている。 この制限を克服するため、私たちはGeneric Autodidactic Modelsと呼ばれるモデルセットを構築しました。 実験の結果, 対象とする5つの3Dアプリケーションすべてにおいて, 既存のトレーニング済み3Dモデルとスクラッチから学習を著しく上回る結果が得られた。
  論文  参考訳（メタデータ） (2020-04-09T20:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。