論文の概要: MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2509.06617v1
• Date: Mon, 08 Sep 2025 12:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.126807
• Title: MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis
• Title（参考訳）: MM-DINOv2:マルチモーダル医用画像解析のための基礎モデルの適用
• Authors: Daniel Scholz, Ayhan Can Erdur, Viktoria Ehm, Anke Meyer-Baese, Jan C. Peeken, Daniel Rueckert, Benedikt Wiestler,
• Abstract要約: MM-DINOv2(MM-DINOv2)は,マルチモーダル・メディカル・イメージングのための事前学習型視覚基盤モデルDINOv2に適応する新しいフレームワークである。 本手法では,マルチモーダル・パッチの埋め込みを取り入れ,視覚基盤モデルによりマルチモーダル・イメージングデータを効果的に処理することができる。 本手法は外部テストセットで0.6のマシューズ相関係数(MCC)を達成し、最先端の教師付きアプローチを+11.1%超える。
• 参考スコア（独自算出の注目度）: 19.063517827476826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision foundation models like DINOv2 demonstrate remarkable potential in medical imaging despite their origin in natural image domains. However, their design inherently works best for uni-modal image analysis, limiting their effectiveness for multi-modal imaging tasks that are common in many medical fields, such as neurology and oncology. While supervised models perform well in this setting, they fail to leverage unlabeled datasets and struggle with missing modalities, a frequent challenge in clinical settings. To bridge these gaps, we introduce MM-DINOv2, a novel and efficient framework that adapts the pre-trained vision foundation model DINOv2 for multi-modal medical imaging. Our approach incorporates multi-modal patch embeddings, enabling vision foundation models to effectively process multi-modal imaging data. To address missing modalities, we employ full-modality masking, which encourages the model to learn robust cross-modality relationships. Furthermore, we leverage semi-supervised learning to harness large unlabeled datasets, enhancing both the accuracy and reliability of medical predictions. Applied to glioma subtype classification from multi-sequence brain MRI, our method achieves a Matthews Correlation Coefficient (MCC) of 0.6 on an external test set, surpassing state-of-the-art supervised approaches by +11.1%. Our work establishes a scalable and robust solution for multi-modal medical imaging tasks, leveraging powerful vision foundation models pre-trained on natural images while addressing real-world clinical challenges such as missing data and limited annotations.
• Abstract（参考訳）: DINOv2のような視覚基盤モデルは、自然画像領域に起源があるにもかかわらず、医療画像において顕著な可能性を示している。 しかし、その設計は本質的に一様画像解析に最適であり、神経学や腫瘍学など多くの医学分野に共通するマルチモーダルイメージングタスクの有効性を制限している。 この環境では、教師付きモデルはよく機能するが、ラベルのないデータセットを活用することができず、欠落したモダリティと闘う。 これらのギャップを埋めるために,マルチモーダル医療画像に事前学習された視覚基盤モデルDINOv2を適応させる,新しい,効率的なフレームワークであるMM-DINOv2を紹介する。 本手法では,マルチモーダル・パッチの埋め込みを取り入れ,視覚基盤モデルによりマルチモーダル・イメージングデータを効果的に処理することができる。 欠落したモダリティに対処するために、我々は、モデルが堅牢なモダリティ関係を学習することを奨励するフルモダリティマスキングを採用している。 さらに、半教師付き学習を活用して、大きなラベルのないデータセットを活用することにより、医療予測の正確性と信頼性を向上させる。 マルチシーケンス脳MRIのグリオーマサブタイプ分類に応用し,外部テストセットにおけるマシューズ相関係数(MCC)を0.6で達成し,最先端の教師付きアプローチを+11.1%超えた。 我々の研究は、マルチモーダルな医療画像タスクのためのスケーラブルで堅牢なソリューションを確立し、自然画像に事前訓練された強力な視覚基盤モデルを活用しながら、欠落データや限定アノテーションといった現実的な臨床課題に対処する。

関連論文リスト

• Does DINOv3 Set a New Medical Vision Standard? [67.33543059306938]
  本報告は、DINOv3が、ドメイン固有の事前トレーニングなしで、医用視覚タスクのための強力な統合エンコーダとして機能するかどうかを考察する。 我々はDINOv3を2D/3D分類やセグメンテーションを含む一般的な医療ビジョンタスクでベンチマークした。 注目すべきは、いくつかのタスクでBiomedCLIPやCT-Netといった医療固有の基礎モデルよりも優れていることだ。
  論文  参考訳（メタデータ） (2025-09-08T09:28:57Z)
• Multimodal Masked Autoencoder Pre-training for 3D MRI-Based Brain Tumor Analysis with Missing Modalities [0.0]
  BM-MAEはマルチモーダルMRIデータに適したマスク付き画像モデリング事前学習戦略である。 利用可能なモダリティの組み合わせにシームレスに適応し、モダリティ内情報とモダリティ間情報の両方をキャプチャするリッチな表現を抽出する。 欠落したモダリティを迅速かつ効率的に再構築し、その実用的価値を強調します。
  論文  参考訳（メタデータ） (2025-05-01T14:51:30Z)
• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• Latent Drifting in Diffusion Models for Counterfactual Medical Image Synthesis [55.959002385347645]
  遅延ドリフトにより、医療画像に対して拡散モデルを条件付けし、反ファクト画像生成の複雑なタスクに適合させることができる。 我々は,脳MRIと胸部X線による3つの時系列的ベンチマークデータセットを用いて,対物画像生成法について検討した。
  論文  参考訳（メタデータ） (2024-12-30T01:59:34Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。