論文の概要: 3D Modality-Aware Pre-training for Vision-Language Model in MRI Multi-organ Abnormality Detection

• arxiv url: http://arxiv.org/abs/2602.23652v2
• Date: Tue, 03 Mar 2026 05:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 14:54:12.426056
• Title: 3D Modality-Aware Pre-training for Vision-Language Model in MRI Multi-organ Abnormality Detection
• Title（参考訳）: MRI多臓器異常検出におけるビジョンランゲージモデルのための3次元モーダルアウェア事前トレーニング
• Authors: Haowen Zhu, Ning Yin, Xiaogen Zhou,
• Abstract要約: 3次元MRIにおける視覚言語表現学習を支援するフレームワークであるMedMAPを提案する。 MedMAPは、モダリティ対応の視覚言語アライメントステージと、多臓器異常検出のための微調整ステージとを備える。 MedMoM-MRI3Dを用いた実験により,MedMAPは3次元MRIによる多臓器異常検出において既存のVLMよりも有意に優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.31351527202068447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) show strong potential for complex diagnostic tasks in medical imaging. However, applying VLMs to multi-organ medical imaging introduces two principal challenges: (1) modality-specific vision-language alignment and (2) cross-modal feature fusion. In this work, we propose MedMAP, a Medical Modality-Aware Pretraining framework that enhances vision-language representation learning in 3D MRI. MedMAP comprises a modality-aware vision-language alignment stage and a fine-tuning stage for multi-organ abnormality detection. During the pre-training stage, the modality-aware encoders implicitly capture the joint modality distribution and improve alignment between visual and textual representations. We then fine-tune the pre-trained vision encoders (while keeping the text encoder frozen) for downstream tasks. To this end, we curated MedMoM-MRI3D, comprising 7,392 3D MRI volume-report pairs spanning twelve MRI modalities and nine abnormalities tailored for various 3D medical analysis tasks. Extensive experiments on MedMoM-MRI3D demonstrate that MedMAP significantly outperforms existing VLMs in 3D MRI-based multi-organ abnormality detection. Our code is available at https://github.com/RomantiDr/MedMAP.
• Abstract（参考訳）: ヴィジュアル言語モデル(VLM)は、医用画像における複雑な診断タスクに強い可能性を示す。 しかし,VLMを多臓器医用画像に適用することは,(1)モダリティ特異的視覚言語アライメントと(2)クロスモーダル特徴融合の2つの主要な課題をもたらす。 本研究は,3次元MRIにおける視覚言語表現学習を強化する医療モダリティ対応事前学習フレームワークであるMedMAPを提案する。 MedMAPは、モダリティ対応の視覚言語アライメントステージと、多臓器異常検出のための微調整ステージとを備える。 事前学習段階において、モダリティ対応エンコーダは、共同モダリティ分布を暗黙的にキャプチャし、視覚的およびテキスト的表現のアライメントを改善する。 次に、ダウンストリームタスクのために、事前訓練されたビジョンエンコーダ(テキストエンコーダを凍結させながら)を微調整します。 MedMoM-MRI3Dは,12個のMRIモダリティにまたがる7,392個のMRIボリュームレポートペアと,各種の3D医療分析タスクに適した9つの異常からなる。 MedMoM-MRI3Dの広範囲な実験により、MedMAPは3次元MRIに基づく多臓器異常検出において既存のVLMよりも著しく優れていることが示された。 私たちのコードはhttps://github.com/RomantiDr/MedMAPで利用可能です。

関連論文リスト

• Enhancing 3D Medical Image Understanding with Pretraining Aided by 2D Multimodal Large Language Models [5.020980730631682]
  既存の3D医療畳み込みとトランスフォーマーベースの自己教師付き学習(SSL)手法は、しばしば深い意味理解を欠いている。 マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、テキスト記述による画像理解を強化するための有望なアプローチを提供する。 Med3DInsightは、3D画像エンコーダと2D MLLMを特別に設計された平面スライス対応トランスモジュールを介して統合する新しい事前学習フレームワークである。
  論文  参考訳（メタデータ） (2025-09-11T00:12:59Z)
• Does DINOv3 Set a New Medical Vision Standard? [67.33543059306938]
  本報告は、DINOv3が、ドメイン固有の事前トレーニングなしで、医用視覚タスクのための強力な統合エンコーダとして機能するかどうかを考察する。 我々はDINOv3を2D/3D分類やセグメンテーションを含む一般的な医療ビジョンタスクでベンチマークした。 注目すべきは、いくつかのタスクでBiomedCLIPやCT-Netといった医療固有の基礎モデルよりも優れていることだ。
  論文  参考訳（メタデータ） (2025-09-08T09:28:57Z)
• M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision [24.846428105192405]
  我々は、モダリティ固有のカスタマイズなしで、統一されたビジュアルエンコーダであるM3Retを訓練する。 生成的(MAE)およびコントラスト的(SimDINO)自己教師型学習(SSL)パラダイムを用いて、転送可能な表現をうまく学習する。 提案手法は,DINOv3 やテキスト教師付き BMC-CLIP などの強力なベースラインを超越して,すべてのモダリティを横断するゼロショット画像画像検索において,新たな最先端技術を実現する。
  論文  参考訳（メタデータ） (2025-09-01T10:59:39Z)
• OmniV-Med: Scaling Medical Vision-Language Model for Universal Visual Understanding [35.35197484810533]
  我々はマルチモーダル医療理解のための統合フレームワークであるOmniV-Medを紹介する。 我々は,多解像度2D/3D画像と映像を統一アーキテクチャで処理する回転位置適応エンコーダを考案した。 本稿では,ボリュームデータと医用ビデオの空間的冗長性を生かした,医療対応型トークンプルーニング機構を提案する。
  論文  参考訳（メタデータ） (2025-04-20T17:53:56Z)
• Read Like a Radiologist: Efficient Vision-Language Model for 3D Medical Imaging Interpretation [40.73779035606757]
  3次元医用画像解釈において,放射線技師のワークフローを模倣したMS-VLMを導入する。 特に、放射線学者は、個々のスライスを連続的に分析し、スライスとビューにまたがる情報を合成することによって、3Dの医療画像を分析する。 MS-VLMは、スライス長の3次元医用画像と、異なる平面と位相から取得した複数の画像から有用なボリューム表現を得ることができる。
  論文  参考訳（メタデータ） (2024-12-18T07:19:48Z)
• Med-2E3: A 2D-Enhanced 3D Medical Multimodal Large Language Model [17.69323209661274]
  デュアル3D-2Dエンコーダアーキテクチャを統合した3次元医療MLLMであるMed-2E3を提案する。 2次元特徴を効果的に集約するために,テキストガイド型インタースライス(TG-IS)スコアリングモジュールを設計する。 大規模でオープンソースの医療用マルチモーダルデータセットの実験は、TG-ISがタスク固有の注意分布を示すことを示した。
  論文  参考訳（メタデータ） (2024-11-19T09:59:59Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Brain3D: Generating 3D Objects from fMRI [78.46936519561298]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
  これまでの研究は主に2Dの医療画像に焦点を合わせてきた。 120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。 また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
  論文  参考訳（メタデータ） (2024-03-31T06:55:12Z)
• Med3DInsight: Enhancing 3D Medical Image Understanding with 2D Multi-Modal Large Language Models [1.64647940449869]
  既存の3D畳み込みとトランスフォーマーベースの手法は、画像ボリュームのセマンティックな理解が限られている。 既存の3D画像エンコーダを2D MLLMでマージし,PSAT(Plane-Slice-Aware Transformer)モジュールを介してブリッジするMed3DInsightを提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:15:53Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。