Fugu-MT 論文翻訳(概要): Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval

論文の概要: Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval

arxiv url: http://arxiv.org/abs/2409.09430v1
Date: Sat, 14 Sep 2024 13:07:30 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 20:47:24.894646
Title: Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval
Title（参考訳）: コンテンツに基づく医用画像検索のための特徴エクストラクタとしての事前学習型畳み込みニューラルネットワークと基礎モデルの評価
Authors: Amirreza Mahbod, Nematollah Saeidi, Sepideh Hatamikia, Ramona Woitek,
Abstract要約: コンテンツベースの医用画像検索(CBMIR)は、色、テクスチャ、形状、空間的特徴などの画像の特徴に依存している。 8種類の医用画像を含むMedMNIST V2データセットのサブセットにおけるCBMIR性能について検討した。以上の結果から,2次元データセットでは,基礎モデルの方がCNNよりも優れた性能が得られることがわかった。以上の結果から,より大きな画像サイズ(特に2次元データセット)を使用すると性能がわずかに向上する一方,競合性のあるCBMIR性能は小さい場合でも達成可能であることが確認された。
参考スコア（独自算出の注目度）: 0.37478492878307323
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Medical image retrieval refers to the task of finding similar images for given query images in a database, with applications such as diagnosis support, treatment planning, and educational tools for inexperienced medical practitioners. While traditional medical image retrieval was performed using clinical metadata, content-based medical image retrieval (CBMIR) relies on the characteristic features of the images, such as color, texture, shape, and spatial features. Many approaches have been proposed for CBMIR, and among them, using pre-trained convolutional neural networks (CNNs) is a widely utilized approach. However, considering the recent advances in the development of foundation models for various computer vision tasks, their application for CBMIR can be also investigated for its potentially superior performance. In this study, we used several pre-trained feature extractors from well-known pre-trained CNNs (VGG19, ResNet-50, DenseNet121, and EfficientNetV2M) and pre-trained foundation models (MedCLIP, BioMedCLIP, OpenCLIP, CONCH and UNI) and investigated the CBMIR performance on a subset of the MedMNIST V2 dataset, including eight types of 2D and 3D medical images. Furthermore, we also investigated the effect of image size on the CBMIR performance. Our results show that, overall, for the 2D datasets, foundation models deliver superior performance by a large margin compared to CNNs, with UNI providing the best overall performance across all datasets and image sizes. For 3D datasets, CNNs and foundation models deliver more competitive performance, with CONCH achieving the best overall performance. Moreover, our findings confirm that while using larger image sizes (especially for 2D datasets) yields slightly better performance, competitive CBMIR performance can still be achieved even with smaller image sizes. Our codes to generate and reproduce the results are available on GitHub.
Abstract（参考訳）: 医用画像検索は、診断支援、治療計画、経験の浅い医療従事者のための教育ツールなど、データベースで与えられたクエリ画像に類似した画像を見つけるタスクである。従来の医用画像検索は臨床メタデータを用いて行われたが、コンテンツベースの医用画像検索(CBMIR)は、色、テクスチャ、形状、空間的特徴などの画像の特徴に依存している。 CBMIRには多くのアプローチが提案されており、その中でも、事前訓練された畳み込みニューラルネットワーク(CNN)が広く利用されている。しかし、様々なコンピュータビジョンタスクの基礎モデルの開発が最近進んでいることを考えると、CBMIRの応用は、その潜在的に優れた性能についても検討できる。本研究では、よく知られた訓練済みCNN(VGG19, ResNet-50, DenseNet121, EfficientNetV2M)と事前訓練済み基礎モデル(MedCLIP, BioMedCLIP, OpenCLIP, CONCH, UNI)から抽出したいくつかの特徴抽出器を用いて、MedMNIST V2データセットのサブセットにおけるCBMIRの性能について検討した。また,画像サイズがCBMIR性能に及ぼす影響についても検討した。以上の結果から,2次元データセットでは基盤モデルの方がCNNよりも優れた性能を示し,UNIは全データセットと画像サイズで最高の総合的なパフォーマンスを提供することがわかった。 3Dデータセットでは、CNNとファンデーションモデルは、より競争力のあるパフォーマンスを提供する。さらに, 画像サイズが大きい場合(特に2次元データセットの場合) の性能は若干向上するが, 画像サイズが小さい場合でも競合性のあるCBMIR性能が達成可能であることを確認した。結果の生成と再生を行うコードについてはGitHubで公開しています。

関連論文リスト

Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities [0.0]
本稿では,種々の医用画像データセット間での伝達学習を伴う,事前訓練された深部畳み込みニューラルネットワークの使用の複雑さについて検討する。固定特徴抽出器として事前訓練されたモデルを使用することで,データセットに関係なく性能が低下することを示す。また、より深く複雑なアーキテクチャが必ずしも最高のパフォーマンスをもたらすとは限らないことも判明した。
論文参考訳（メタデータ） (2024-08-30T04:51:19Z)
Boosting Medical Image Segmentation Performance with Adaptive Convolution Layer [6.887244952811574]
UCTransNetのような先進的なディープラーニングモデルに先立つ適応層を提案する。我々のアプローチは、多様な解剖学的構造と微妙な画像の詳細を扱うネットワークの能力を高める。従来のCNNよりも、同じ数のパラメータで固定されたカーネルサイズで一貫してパフォーマンスが向上している。
論文参考訳（メタデータ） (2024-04-17T13:18:39Z)
Comparative Analysis of ImageNet Pre-Trained Deep Learning Models and DINOv2 in Medical Imaging Classification [7.205610366609243]
本稿では,脳MRIデータの3つの臨床的モダリティを用いたグリオーマグレーディングタスクを行った。我々は、ImageNetやDINOv2をベースとした様々な事前学習深層学習モデルの性能を比較した。臨床データでは,DINOv2 はImageNet ベースで事前訓練したモデルほど優れていなかった。
論文参考訳（メタデータ） (2024-02-12T11:49:08Z)
MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文参考訳（メタデータ） (2023-09-16T02:41:53Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文参考訳（メタデータ） (2022-09-21T12:30:05Z)
Enhanced Transfer Learning Through Medical Imaging and Patient Demographic Data Fusion [0.0]
画像特徴と関連する非画像データとを組み合わせた医療画像データの分類における性能向上について検討した。特徴抽出器として直接使用し,対象領域に微調整を施したImageNetで事前訓練したネットワークを用いた転送学習を利用する。
論文参考訳（メタデータ） (2021-11-29T09:11:52Z)
Colorectal Polyp Classification from White-light Colonoscopy Images via Domain Alignment [57.419727894848485]
大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
論文参考訳（メタデータ） (2021-08-05T09:31:46Z)
Two layer Ensemble of Deep Learning Models for Medical Image Segmentation [0.2699900017799093]
医用画像のセグメンテーションのための深層学習モデルの2層アンサンブルを提案する。トレーニング画像の付加データとして、第1層の各モデルによって作成された各トレーニング画像画素の予測を用いる。次に、各モデルが結合結果に異なる貢献をする重みに基づくスキームを用いて、第2層の予測を組み合わせる。
論文参考訳（メタデータ） (2021-04-10T16:52:34Z)
Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文参考訳（メタデータ） (2020-09-01T19:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。