論文の概要: MultiMedVision: Multi-Modal Medical Vision Framework
- arxiv url: http://arxiv.org/abs/2605.09151v1
- Date: Sat, 09 May 2026 20:29:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.088821
- Title: MultiMedVision: Multi-Modal Medical Vision Framework
- Title（参考訳）: MultiMedVision: マルチモーダル医療ビジョンフレームワーク
- Abstract要約: 共同2D/3D表現学習のための統合フレームワークであるMultiMedVisionを提案する。
モデルでは3次元回転位置埋め込みと可変長列パッキングを用いて混合モードバッチを処理する。
5倍少ないデータを持つ1つの共有エンコーダを使用して、MultiMedVisionは両方の2Dベンチマークで競合性能を達成する。
- 参考スコア（独自算出の注目度）: 4.804608924059296
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modal medical imaging enables comprehensive diagnostics, yet current foundation models process 2D (e.g. X-ray) and 3D (e.g. CT) data with separate, dimensionality-specific architectures. We present MultiMedVision, a unified framework for joint 2D/3D representation learning built on a Sparse Vision Transformer. Our model uses 3D Rotary Positional Embeddings and variable-length sequence packing to process mixed-modality batches natively within a shared latent space, without modality-specific adapters or treating 3D volumes as 2D slice sequences. Trained with a self-supervised objective on chest X-rays (MIMIC-CXR) and CT scans (CT-RATE), and using a single shared encoder with 5x less data, MultiMedVision achieves competitive performance on both 2D benchmarks (Macro AUROC 0.82 on MIMIC, 0.84 on CheXpert) and 3D tasks (0.85 on CT-RATE). Analysis of the learned representations reveals coexisting modality-specific and shared feature subspaces, demonstrating that unified cross-dimensional representation learning is feasible without sacrificing modality-specific performance.
- Abstract（参考訳）: マルチモーダル・メディカルイメージングは包括的診断を可能にするが、現在の基礎モデルでは2D (e g X-ray) と3D (e g CT) のデータを別々の次元特化アーキテクチャで処理している。
Sparse Vision Transformer上に構築された2D/3D共同表現学習のための統合フレームワークであるMultiMedVisionを提案する。
本モデルでは, 3次元回転位置埋め込みと可変長列パッキングを用いて, 3次元ボリュームを2次元スライスシーケンスとして扱うことなく, 共有潜在空間内において混合モードバッチをネイティブに処理する。
胸部X線(MIMIC-CXR)とCTスキャン(CT-RATE)を自監督対象とし、5倍少ないデータを持つ単一の共有エンコーダを用いて、MultiMedVisionは2Dベンチマーク(MIMICではMacro AUROC 0.82、CheXpertでは0.84、CT-RATEでは0.85)と3Dタスク(CT-RATEでは0.85)の両方で競合性能を達成する。
学習した表現の分析は、モダリティ固有の共有特徴部分空間が共存していることを示し、モダリティ固有の性能を犠牲にすることなく、一様表現学習が実現可能であることを示した。
関連論文リスト
- Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging [3.8658612593287525]
Mr3D-VLは多パラメータMRIのための視覚言語基盤モデルである。
教師なしの共有3Dエンコーダと2次元モード空間積分のための4次元回転位置埋め込みを採用している。
論文 参考訳（メタデータ） (2026-08-13T01:12:34Z) - Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis [52.32262701215441]
マルチモーダル大言語モデル(MLLM)は、堅牢な知覚能力、強力なクロスモーダルアライメント、有望な一般化性を示す。
3D医療画像の不足により、既存の3D医療MLLMは、十分に事前訓練された視覚エンコーダと、カスタマイズされた画像の特徴を抽出することができない。
本稿では,テキストプロンプトの指導の下でタスクを識別できるテキストガイド型階層型MoEフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-11T14:36:05Z) - Halfway to 3D: Ensembling 2.5D and 3D Models for Robust COVID-19 CT Diagnosis [5.645096759437525]
胸部CT画像から新型コロナウイルス検出・疾患分類を行うための深層学習フレームワークを提案する。
このフレームワークは2.5Dと3Dの両方の表現を統合し、補完的なスライスレベルとボリューム情報をキャプチャする。
PHAROS-AIF-MIHベンチマークの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2026-03-16T05:24:10Z) - MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。
我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
論文 参考訳（メタデータ） (2026-03-12T07:37:00Z) - Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification [69.87877580725768]
MVSC(Multimodal Visual Surrogate Compression)は、大規模な3D sMRIボリュームをコンパクトな2D機能に圧縮し、適応させることを学ぶ。
MVSCには2つの重要なコンポーネントがある: テキストガイダンスの下でグローバルなクロススライスコンテキストをキャプチャするボリュームコンテキストと、テキストエンハンスでパッチワイズな方法でスライスレベルの情報を集約するAdaptive Slice Fusionモジュール。
論文 参考訳（メタデータ） (2026-01-29T13:05:46Z) - TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。
既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。
本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
論文 参考訳（メタデータ） (2025-07-20T10:28:06Z) - OmniV-Med: Scaling Medical Vision-Language Model for Universal Visual Understanding [35.35197484810533]
我々はマルチモーダル医療理解のための統合フレームワークであるOmniV-Medを紹介する。
我々は,多解像度2D/3D画像と映像を統一アーキテクチャで処理する回転位置適応エンコーダを考案した。
本稿では,ボリュームデータと医用ビデオの空間的冗長性を生かした,医療対応型トークンプルーニング機構を提案する。
論文 参考訳（メタデータ） (2025-04-20T17:53:56Z) - Cross-D Conv: Cross-Dimensional Transferable Knowledge Base via Fourier Shifting Operation [3.69758875412828]
クロスD Conv 演算はフーリエ領域における位相シフトを学習することで次元ギャップを橋渡しする。
本手法は2次元と3次元の畳み込み操作間のシームレスな重み移動を可能にする。
論文 参考訳（メタデータ） (2024-11-02T13:03:44Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳（メタデータ） (2023-07-24T14:53:23Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳（メタデータ） (2020-07-09T13:23:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。