論文の概要: Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging
- arxiv url: http://arxiv.org/abs/2608.12689v1
- Date: Thu, 13 Aug 2026 01:12:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.357173
- Title: Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging
- Title（参考訳）: マルチパラメトリック3次元磁気共鳴イメージングのための一般視覚言語基礎モデル
- Abstract要約: Mr3D-VLは多パラメータMRIのための視覚言語基盤モデルである。
教師なしの共有3Dエンコーダと2次元モード空間積分のための4次元回転位置埋め込みを採用している。
- 参考スコア（独自算出の注目度）: 3.8658612593287525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-parametric magnetic resonance imaging (mpMRI) is a cornerstone for brain tumor diagnosis and treatment, yet current AI models face critical limitations: their lack of natural language interaction and interpretability impedes spatial information integration and cross-modal reasoning required clinically. Key challenges arise from significant physical meaning differences across modalities, spatial misalignment due to scan intervals, and the need for complex multi-feature interpretation in tasks like glioma grading. While visual-language models (VLMs) show promise in cross-modal understanding, existing methods focus mainly on 2D image modeling, neglecting direct perception of 3D volumetric space. Although 3D VLMs have been proposed for report generation and feature alignment in 3D CT imaging, mpMRI applications demand collaborative inference across multiple imaging modalities-a requirement unmet by current solutions. To address this, we introduce Mr3D-VL, a dedicated visual-language foundation model for multi-parametric 3D MRI. With 4 billion parameters, it employs an unsupervised pre-trained shared 3D encoder and 4D rotational positional embedding for dual modality-spatial integration. Its cross-modal projection layer uses a multi-resolution feature implantation strategy to enhance feature perception across resolutions. Experimental results show significant improvements over existing 4B/7B/30B domain-specific and general-purpose models in text generation tasks, achieving a BERTScore of 0.856 for report generation, with question-answering accuracy at 0.713 and multiple-choice accuracy at 0.912.
- Abstract（参考訳）: マルチパラメトリックMRI(Multi-parametric magnetic resonance imaging)は、脳腫瘍の診断と治療の基盤となっているが、現在のAIモデルは重要な限界に直面している。
主な課題は、モダリティ間の大きな物理的意味の違い、スキャン間隔による空間的不整合、グリオーマグレーディングのようなタスクにおける複雑な多機能解釈の必要性である。
視覚言語モデル(VLM)は、モーダル理解において有望であるが、既存の手法は主に2次元画像モデリングに焦点を当てており、3次元体積空間の直接認識を無視している。
3次元VLMは3次元CT画像のレポート生成と特徴アライメントのために提案されているが、mpMRIアプリケーションは複数の画像モダリティをまたいだ協調推論を必要としている。
この問題を解決するために,マルチパラメトリック3次元MRIのための視覚言語基礎モデルであるMr3D-VLを紹介する。
40億のパラメータを持ち、教師なし事前訓練された共有3Dエンコーダと2次元モード-空間積分のための4次元回転位置埋め込みを用いる。
クロスモーダル・プロジェクション・レイヤはマルチレゾリューション・フィーチャー・インプレッション・ストラテジを使用して、解像度をまたいだ特徴知覚を強化する。
実験の結果,テキスト生成タスクにおける既存の4B/7B/30Bドメイン固有および汎用モデルに対して,質問応答精度0.713,複数選択精度0.912でBERTScore0.856を達成した。
関連論文リスト
- Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI [1.0971336662049027]
本稿では,モダリティ固有の表現と相互モーダル相互作用の両方を明示的にモデル化する3次元視覚変換器を提案する。
我々は3つの異種データセットの脳年齢予測におけるMICViTの評価を行った。
論文 参考訳（メタデータ） (2026-06-25T11:26:57Z) - MultiMedVision: Multi-Modal Medical Vision Framework [4.804608924059296]
共同2D/3D表現学習のための統合フレームワークであるMultiMedVisionを提案する。
モデルでは3次元回転位置埋め込みと可変長列パッキングを用いて混合モードバッチを処理する。
5倍少ないデータを持つ1つの共有エンコーダを使用して、MultiMedVisionは両方の2Dベンチマークで競合性能を達成する。
論文 参考訳（メタデータ） (2026-05-09T20:29:24Z) - Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳（メタデータ） (2026-01-29T13:05:46Z) - MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation [11.762545584252052]
本稿では,レポート生成,VQA,マルチパラダイムセグメンテーションをサポートする統合された3次元医療マルチモーダルモデルを提案する。
MedVL-SAM2は、画像レベルの推論とピクセルレベルの認識を3D医療画像用に調整された凝集性アーキテクチャによって統合する。
我々の統合アーキテクチャは、レポート生成、VQA、複数の3Dセグメンテーションタスクにまたがって最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-01-14T21:21:00Z) - Towards Generalisable Foundation Models for 3D Brain MRI [5.527537739064968]
我々は、DINO-v2を拡張することで構築された脳MRIのための自己教師型基礎モデルBrainFoundを紹介する。
BrainFoundはDINO-v2を、シーケンシャルMRIスライスからの情報を取り込むことで、完全な3D脳解剖学をモデル化する。
シングルモーダル入力とマルチモーダル入力の両方をサポートし、疾患検出やイメージセグメンテーションなど、幅広い下流タスクを可能にする。
論文 参考訳（メタデータ） (2025-10-27T15:19:46Z) - Modality-Aware Feature Matching: A Comprehensive Review of Single- and Cross-Modality Techniques [91.26187560114381]
特徴マッチングはコンピュータビジョンにおける基礎的な課題であり、画像検索、ステレオマッチング、3D再構成、SLAMなどのアプリケーションに必須である。
本調査は,モダリティに基づく特徴マッチングを包括的にレビューし,従来の手作り手法と現代のディープラーニングアプローチについて検討する。
論文 参考訳（メタデータ） (2025-07-30T15:56:36Z) - A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
様々な計測アンサンプパターンと画像解像度に頑健な統合MRI再構成モデルを提案する。
我々のモデルは、拡散法よりも600$times$高速な推論で、最先端CNN(End-to-End VarNet)の4dBでSSIMを11%改善し、PSNRを4dB改善する。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。
設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
論文 参考訳（メタデータ） (2024-02-28T18:59:31Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Single-subject Multi-contrast MRI Super-resolution via Implicit Neural
Representations [9.683341998041634]
Inlicit Neural Representations (INR) は連続空間関数における相補的視点の2つの異なるコントラストを学習することを提案した。
我々のモデルは、3つのデータセットを用いた実験において、異なるコントラストのペア間で現実的な超解像を提供する。
論文 参考訳（メタデータ） (2023-03-27T10:18:42Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳（メタデータ） (2020-12-16T07:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。