論文の概要: Medical Slice Transformer: Improved Diagnosis and Explainability on 3D Medical Images with DINOv2

• arxiv url: http://arxiv.org/abs/2411.15802v1
• Date: Sun, 24 Nov 2024 12:11:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:22:39.173982
• Title: Medical Slice Transformer: Improved Diagnosis and Explainability on 3D Medical Images with DINOv2
• Title（参考訳）: 医用スライストランス : DINOv2を用いた3次元医用画像の診断と説明性の改善
• Authors: Gustav Müller-Franzes, Firas Khader, Robert Siepmann, Tianyu Han, Jakob Nikolas Kather, Sven Nebelung, Daniel Truhn,
• Abstract要約: 医用スライストランスフォーマー(MST)フレームワークを導入し,3次元医用画像解析に2次元自己監督モデルを適用した。 MSTは畳み込みニューラルネットワークと比較して、診断精度と説明性の向上を提供する。
• 参考スコア（独自算出の注目度）: 1.6275928583134276
• License:
• Abstract: MRI and CT are essential clinical cross-sectional imaging techniques for diagnosing complex conditions. However, large 3D datasets with annotations for deep learning are scarce. While methods like DINOv2 are encouraging for 2D image analysis, these methods have not been applied to 3D medical images. Furthermore, deep learning models often lack explainability due to their "black-box" nature. This study aims to extend 2D self-supervised models, specifically DINOv2, to 3D medical imaging while evaluating their potential for explainable outcomes. We introduce the Medical Slice Transformer (MST) framework to adapt 2D self-supervised models for 3D medical image analysis. MST combines a Transformer architecture with a 2D feature extractor, i.e., DINOv2. We evaluate its diagnostic performance against a 3D convolutional neural network (3D ResNet) across three clinical datasets: breast MRI (651 patients), chest CT (722 patients), and knee MRI (1199 patients). Both methods were tested for diagnosing breast cancer, predicting lung nodule dignity, and detecting meniscus tears. Diagnostic performance was assessed by calculating the Area Under the Receiver Operating Characteristic Curve (AUC). Explainability was evaluated through a radiologist's qualitative comparison of saliency maps based on slice and lesion correctness. P-values were calculated using Delong's test. MST achieved higher AUC values compared to ResNet across all three datasets: breast (0.94$\pm$0.01 vs. 0.91$\pm$0.02, P=0.02), chest (0.95$\pm$0.01 vs. 0.92$\pm$0.02, P=0.13), and knee (0.85$\pm$0.04 vs. 0.69$\pm$0.05, P=0.001). Saliency maps were consistently more precise and anatomically correct for MST than for ResNet. Self-supervised 2D models like DINOv2 can be effectively adapted for 3D medical imaging using MST, offering enhanced diagnostic accuracy and explainability compared to convolutional neural networks.
• Abstract（参考訳）: MRIとCTは複雑な病態の診断に欠かせない臨床横断イメージング技術である。 しかし、ディープラーニングのためのアノテーションを備えた大規模な3Dデータセットは少ない。 DINOv2のような手法は2D画像解析を奨励しているが、これらの手法は3D画像には適用されていない。 さらに、ディープラーニングモデルは、その"ブラックボックス"の性質から、説明責任を欠くことが多い。 本研究は,DINOv2の2次元自己監督モデルから3次元医用画像への拡張をめざし,説明可能な結果の可能性を評価することを目的とする。 医用スライストランスフォーマー(MST)フレームワークを導入し,3次元医用画像解析に2次元自己監督モデルを適用した。 MSTはTransformerアーキテクチャと2D特徴抽出器、すなわちDINOv2を組み合わせる。 胸部MRI(651例),胸部CT(722例),膝部MRI(1199例)の3つの臨床データセットを対象とした3次元畳み込みニューラルネットワーク(3D ResNet)による診断性能の評価を行った。 いずれの方法も乳がんの診断,肺結節密度の予測,半月板断裂の診断に有用であった。 AUC(Area Under the Receiver Operating Characteristics Curve)を算出し,診断性能を評価した。 スライスと病変の正当性に基づいて,放射線技師による唾液度マップの質的比較により説明可能性を評価した。 P値はデロング試験を用いて算出した。 乳房(0.94$\pm$0.01 vs. 0.91$\pm$0.02, P=0.02)、胸(0.95$\pm$0.01 vs. 0.92$\pm$0.02, P=0.13)、膝(0.85$\pm$0.04 vs. 0.69$\pm$0.05, P=0.001)である。 衛生マップは、ResNetよりもMSTの方が一貫して正確で解剖学的に正しい。 DINOv2のような自己監督型2Dモデルは、MSTを用いた3D医療画像に効果的に適応することができ、畳み込みニューラルネットワークと比較して診断精度と説明性が向上する。

関連論文リスト

• Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• 2D and 3D Deep Learning Models for MRI-based Parkinson's Disease Classification: A Comparative Analysis of Convolutional Kolmogorov-Arnold Networks, Convolutional Neural Networks, and Graph Convolutional Networks [0.0]
  本研究はパーキンソン病の診断にConvolutional Kolmogorov-Arnold Networks(ConvKANs)を適用した。 ConvKANは、構造MRIを用いたPD分類のために、学習可能なアクティベーション機能を畳み込み層に統合する。 医用画像用ConvKANの最初の3D実装について紹介し、その性能を畳み込みニューラルネットワーク(CNN)とグラフ畳み込みニューラルネットワーク(GCN)と比較した。 これらの知見は, PD検出に対するConvKANsの可能性を強調し, 脳の微妙な変化を捉える上での3D解析の重要性を強調し, データセット間の一般化の課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-24T16:04:18Z)
• Slice-Consistent 3D Volumetric Brain CT-to-MRI Translation with 2D Brownian Bridge Diffusion Model [3.4248731707266264]
  神経画像では、一般的に、脳のCTはMRIよりも費用効率が高く、アクセスしやすい。 医用画像・画像翻訳(I2I)は有望な解決策である。 本研究は,2次元 DM のみに基づく高品質な3次元医療用 I2I を実現する最初の試みである。
  論文  参考訳（メタデータ） (2024-07-06T12:13:36Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Accurate Patient Alignment without Unnecessary Imaging Dose via Synthesizing Patient-specific 3D CT Images from 2D kV Images [10.538839084727975]
  腫瘍の視認性は2次元平面への患者の解剖学的投射により制限される。 コーンビームCT(CBCT)などの3D-OBI治療室では、CBCTの視野(FOV)は不要な高画像量に制限される。 本稿では, 階層型 ViT ブロックで構築した2次元モデルを用いて, 処理位置から得られた kV 画像から3次元CTを再構成する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:55:03Z)
• 3D-GMIC: an efficient deep neural network to find small objects in large 3D images [41.334361182700164]
  3Dイメージングは、臓器解剖に関する空間情報を提供することにより、より正確な診断を可能にする。 AIモデルのトレーニングに3Dイメージを使用することは、その2Dモデルよりも数十から数百倍のピクセルで構成されているため、計算的に困難である。 本稿では,3次元医用画像の完全解像度で計算効率の良い分類を可能にするニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-16T21:58:54Z)
• Moving from 2D to 3D: volumetric medical image classification for rectal cancer staging [62.346649719614]
  術前T2期とT3期を区別することは直腸癌治療における最も困難かつ臨床的に重要な課題である。 直腸MRIでT3期直腸癌からT2を正確に判別するための体積畳み込みニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-13T07:10:14Z)
• 3-Dimensional Deep Learning with Spatial Erasing for Unsupervised Anomaly Segmentation in Brain MRI [55.97060983868787]
  我々は,MRIボリュームと空間消去を組み合わせた空間文脈の増大が,教師なしの異常セグメンテーション性能の向上に繋がるかどうかを検討する。 本稿では,2次元変分オートエンコーダ(VAE)と3次元の相違点を比較し,3次元入力消去を提案し,データセットサイズが性能に与える影響を体系的に検討する。 入力消去による最高の3D VAEは、平均DICEスコアが31.40%となり、2D VAEは25.76%となった。
  論文  参考訳（メタデータ） (2021-09-14T09:17:27Z)
• 3D RegNet: Deep Learning Model for COVID-19 Diagnosis on Chest CT Image [9.407002591446286]
  新型コロナウイルス感染症(Covid-19)患者の身体状態を診断するための3D-RegNetベースのニューラルネットワークを提案する。 その結果、3Dモデルの試験セット,f1スコア0.8379,AUC値0.8807が達成された。
  論文  参考訳（メタデータ） (2021-07-08T18:10:07Z)
• Automated Model Design and Benchmarking of 3D Deep Learning Models for COVID-19 Detection with Chest CT Scans [72.04652116817238]
  3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。 また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
  論文  参考訳（メタデータ） (2021-01-14T03:45:01Z)
• Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices [48.85784310158493]
  CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。 新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。 提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
  論文  参考訳（メタデータ） (2020-12-16T07:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。