論文の概要: Comparative Analysis of ImageNet Pre-Trained Deep Learning Models and
DINOv2 in Medical Imaging Classification
- arxiv url: http://arxiv.org/abs/2402.07595v1
- Date: Mon, 12 Feb 2024 11:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 14:30:48.759429
- Title: Comparative Analysis of ImageNet Pre-Trained Deep Learning Models and
DINOv2 in Medical Imaging Classification
- Title（参考訳）: 医用画像分類における画像ネット事前学習モデルとDINOv2の比較分析
- Authors: Yuning Huang, Jingchen Zou, Lanxi Meng, Xin Yue, Qing Zhao, Jianqiang
Li, Changwei Song, Gabriel Jimenez, Shaowu Li, Guanghui Fu
- Abstract要約: 本稿では,脳MRIデータの3つの臨床的モダリティを用いたグリオーマグレーディングタスクを行った。
我々は、ImageNetやDINOv2をベースとした様々な事前学習深層学習モデルの性能を比較した。
臨床データでは,DINOv2 はImageNet ベースで事前訓練したモデルほど優れていなかった。
- 参考スコア（独自算出の注目度）: 7.205610366609243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical image analysis frequently encounters data scarcity challenges.
Transfer learning has been effective in addressing this issue while conserving
computational resources. The recent advent of foundational models like the
DINOv2, which uses the vision transformer architecture, has opened new
opportunities in the field and gathered significant interest. However, DINOv2's
performance on clinical data still needs to be verified. In this paper, we
performed a glioma grading task using three clinical modalities of brain MRI
data. We compared the performance of various pre-trained deep learning models,
including those based on ImageNet and DINOv2, in a transfer learning context.
Our focus was on understanding the impact of the freezing mechanism on
performance. We also validated our findings on three other types of public
datasets: chest radiography, fundus radiography, and dermoscopy. Our findings
indicate that in our clinical dataset, DINOv2's performance was not as strong
as ImageNet-based pre-trained models, whereas in public datasets, DINOv2
generally outperformed other models, especially when using the frozen
mechanism. Similar performance was observed with various sizes of DINOv2 models
across different tasks. In summary, DINOv2 is viable for medical image
classification tasks, particularly with data resembling natural images.
However, its effectiveness may vary with data that significantly differs from
natural images such as MRI. In addition, employing smaller versions of the
model can be adequate for medical task, offering resource-saving benefits. Our
codes are available at https://github.com/GuanghuiFU/medical_DINOv2_eval.
- Abstract（参考訳）: 医療画像分析は、しばしばデータの不足に遭遇する。
転送学習は、計算資源を維持しながらこの問題に対処する上で有効である。
視覚トランスフォーマーアーキテクチャを使用するdinov2のような基礎モデルが最近登場し、この分野で新たな機会が生まれ、大きな関心を集めている。
しかし、DINOv2の臨床データに対する性能は依然として検証する必要がある。
本稿では,脳MRIデータの3つの臨床的モダリティを用いたグリオーマグレーディングタスクを行った。
我々は、ImageNetやDINOv2をベースとした様々な事前学習深層学習モデルの性能を、伝達学習コンテキストで比較した。
私たちの焦点は、凍結メカニズムがパフォーマンスに与える影響を理解することです。
また,胸部x線撮影,眼底x線撮影,皮膚内視鏡検査の3種類について検討を行った。
我々の臨床データセットでは、DINOv2の性能はImageNetベースの事前訓練モデルほど優れていなかったが、公開データセットでは、特に凍結機構を使用する場合、DINOv2は他のモデルよりも優れていた。
同様の性能は、様々なタスクにわたるDINOv2モデルの様々なサイズで観察された。
要約すると、DINOv2は医学画像分類タスク、特に自然画像に似たデータに対して有効である。
しかし、その効果はMRIのような自然画像と大きく異なるデータによって異なる可能性がある。
さらに、より小さいバージョンのモデルを採用することは、医療作業に適しており、リソース節約の便益を提供する。
私たちのコードはhttps://github.com/guanghuifu/medical_dinov2_evalで利用可能です。
関連論文リスト
- Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval [0.37478492878307323]
コンテンツベースの医用画像検索(CBMIR)は、色、テクスチャ、形状、空間的特徴などの画像の特徴に依存している。
8種類の医用画像を含むMedMNIST V2データセットのサブセットにおけるCBMIR性能について検討した。
以上の結果から,2次元データセットでは,基礎モデルの方がCNNよりも優れた性能が得られることがわかった。
以上の結果から,より大きな画像サイズ(特に2次元データセット)を使用すると性能がわずかに向上する一方,競合性のあるCBMIR性能は小さい場合でも達成可能であることが確認された。
論文 参考訳（メタデータ） (2024-09-14T13:07:30Z) - Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities [0.0]
本稿では,種々の医用画像データセット間での伝達学習を伴う,事前訓練された深部畳み込みニューラルネットワークの使用の複雑さについて検討する。
固定特徴抽出器として事前訓練されたモデルを使用することで,データセットに関係なく性能が低下することを示す。
また、より深く複雑なアーキテクチャが必ずしも最高のパフォーマンスをもたらすとは限らないことも判明した。
論文 参考訳（メタデータ） (2024-08-30T04:51:19Z) - Evaluating General Purpose Vision Foundation Models for Medical Image Analysis: An Experimental Study of DINOv2 on Radiology Benchmarks [5.8941124219471055]
DINOv2はオープンソースのファンデーションモデルで、1億4200万のキュレートされた自然画像に対する自己教師付き学習を事前訓練している。
本研究は放射線学におけるDINOv2の性能を総合的に評価する。
論文 参考訳（メタデータ） (2023-12-04T21:47:10Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳（メタデータ） (2023-04-18T15:39:58Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - Learning from few examples: Classifying sex from retinal images via deep
learning [3.9146761527401424]
基礎画像から患者の性別を分類するために,小データセット上でのDLの性能について紹介する。
約2500基の画像を用いて開発した本モデルでは,最大0.72点のAUCスコアが得られた。
これは、データセットサイズが1000倍近く減少しているにもかかわらず、わずか25%のパフォーマンス低下に相当する。
論文 参考訳（メタデータ） (2022-07-20T02:47:29Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳（メタデータ） (2020-06-20T17:56:46Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z) - Improving Calibration and Out-of-Distribution Detection in Medical Image
Segmentation with Convolutional Neural Networks [8.219843232619551]
畳み込みニューラルネットワーク(CNN)は強力な医用画像分割モデルであることが示されている。
マルチタスク学習、すなわち、複数の異なるデータセット上で単一のモデルをトレーニングすることを提唱する。
一つのCNNが、文脈を自動的に認識し、各文脈における関心の組織を正確に区分することを学ぶだけでなく、そのようなジョイントモデルの方が、より正確でより良い校正された予測を持つことも示している。
論文 参考訳（メタデータ） (2020-04-12T23:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。