論文の概要: Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI
- arxiv url: http://arxiv.org/abs/2606.26894v1
- Date: Thu, 25 Jun 2026 11:26:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.257002
- Title: Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI
- Title（参考訳）: マルチモーダル3次元MRIにおける局所的・グローバル的・横断的文脈のモデル化
- Abstract要約: 本稿では,モダリティ固有の表現と相互モーダル相互作用の両方を明示的にモデル化する3次元視覚変換器を提案する。
我々は3つの異種データセットの脳年齢予測におけるMICViTの評価を行った。
- 参考スコア（独自算出の注目度）: 1.0971336662049027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Brain MRI poses a fundamental challenge for machine learning: models must learn from high-dimensional 3D data spanning multiple co-registered modalities, despite the limited sample sizes typical of neuroimaging studies relative to the diversity in anatomy, pathology, and acquisition conditions. While multimodal imaging provides complementary information critical for clinical interpretation, effectively integrating these signals remains difficult. We propose Multimodal Intra- and Cross-Context Vision Transformer (MICViT), a 3D vision transformer that explicitly models both modality-specific representations and cross-modal interactions across local and global contexts. Concretely, MICViT combines four attention mechanisms: modality-specific local and global attention for intra-modal feature learning, and cross-modal local and global attention to capture interactions between modalities. We evaluate MICViT on brain age prediction across three heterogeneous datasets (UK Biobank, n=41,404; SOOP, n=1,062; Cam-CAN, n=613) using multiple MRI modalities (e.g. T1, FLAIR, DWI, SWI). MICViT consistently outperforms state-of-the-art CNN and transformer baselines in 3D settings. Notably, it benefits more strongly from multimodal inputs, yielding larger performance gains as additional modalities are incorporated. These results demonstrate that explicitly modeling intra- and cross-modal interactions is key to unlocking the full potential of multimodal brain MRI, highlighting a promising direction for representation learning in neuroimaging.
- Abstract（参考訳）: モデルは、解剖学、病理学、取得条件の多様性に典型的な神経画像研究の限られたサンプルサイズにもかかわらず、複数の共登録されたモダリティにまたがる高次元の3Dデータから学ぶ必要がある。
マルチモーダルイメージングは臨床解釈にとって重要な補完的な情報を提供するが、これらの信号の効果的統合は依然として困難である。
局所的および大域的コンテキストをまたいだモダリティ特異的表現とクロスモーダル相互作用の両方を明示的にモデル化する3次元視覚変換器であるMultimodal intra- and Cross-Context Vision Transformer (MICViT)を提案する。
具体的には、MICViTは、モダリティ固有の局所的およびグローバルな特徴学習の注意と、モダリティ間の相互作用を捉えるためのモダリティ間の局所的およびグローバルな注意の4つのメカニズムを組み合わせたものである。
MICViTは3つの異種データセット(UK Biobank, n=41, 404; SOOP, n=1,062; Cam-CAN, n=613)の脳年齢予測において複数のMRIモダリティ(例えばT1, FLAIR, DWI, SWI)を用いて評価した。
MICViTは最先端のCNNとトランスフォーマーのベースラインを3D設定で一貫して上回っている。
特に、マルチモーダル入力の利点が強く、追加のモダリティが組み込まれるにつれて、パフォーマンスが向上する。
これらの結果は、マルチモーダル脳MRIの完全なポテンシャルを解放するためには、イントラモーダルとクロスモーダルの相互作用を明示的にモデル化することが鍵であることが示され、ニューロイメージングにおける表現学習の有望な方向性が浮かび上がっている。
関連論文リスト
- Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging [3.8658612593287525]
Mr3D-VLは多パラメータMRIのための視覚言語基盤モデルである。
教師なしの共有3Dエンコーダと2次元モード空間積分のための4次元回転位置埋め込みを採用している。
論文 参考訳（メタデータ） (2026-08-13T01:12:34Z) - Unified Multimodal Model for Brain MRI Imputation and Understanding [19.00815560145768]
脳磁気共鳴画像(MRI)解析のための新しい統合型マルチモーダルモデルUniBrainを提案する。
トレーニング中に、自己回帰的な方法でモデルをトレーニングするために、インターリーブされた、説明に富んだデータフローを構築する。
濃密な画像埋め込みを活用して、詳細な画像キャプションを必要とせず、微細な解剖学的特徴を学習する自己アライメント戦略を導入する。
論文 参考訳（メタデータ） (2026-06-15T09:51:00Z) - Modality-Aware and Anatomical Vector-Quantized Autoencoding for Multimodal Brain MRI [15.657081811594418]
マルチモーダル脳MRIの再構成のためのVQ-VAE(Modality-Aware 3D vector-quantized VAE)を提案する。
NeuroQuantは、既存のVAEよりも優れた再構成忠実性を達成する。
論文 参考訳（メタデータ） (2026-04-06T21:07:34Z) - Toward a Multi-View Brain Network Foundation Model: Cross-View Consistency Learning Across Arbitrary Atlases [62.33465338932216]
MV-BrainFMは任意のアトラスで構築された脳ネットワークから一般化可能でスケーラブルな表現を学ぶために設計された多視点脳ネットワーク基盤モデルである。
17のfMRIデータセットから20万名以上の被験者を対象に行った実験では、MV-BrainFMは既存の14の脳ネットワーク基盤モデルより一貫して優れていた。
論文 参考訳（メタデータ） (2026-03-20T11:55:00Z) - Modeling Cross-vision Synergy for Unified Large Vision Model [130.37489011094036]
PolyVは、アーキテクチャレベルとトレーニングレベルの両方で、クロスビジョンのシナジーを実現する統一された大型ビジョンモデルである。
PolyVは既存のモデルを一貫して上回り、バックボーンの10%以上の平均的な改善を実現している。
論文 参考訳（メタデータ） (2026-03-03T22:44:43Z) - Towards Generalisable Foundation Models for 3D Brain MRI [5.527537739064968]
我々は、DINO-v2を拡張することで構築された脳MRIのための自己教師型基礎モデルBrainFoundを紹介する。
BrainFoundはDINO-v2を、シーケンシャルMRIスライスからの情報を取り込むことで、完全な3D脳解剖学をモデル化する。
シングルモーダル入力とマルチモーダル入力の両方をサポートし、疾患検出やイメージセグメンテーションなど、幅広い下流タスクを可能にする。
論文 参考訳（メタデータ） (2025-10-27T15:19:46Z) - M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision [24.846428105192405]
我々は、モダリティ固有のカスタマイズなしで、統一されたビジュアルエンコーダであるM3Retを訓練する。
生成的(MAE)およびコントラスト的(SimDINO)自己教師型学習(SSL)パラダイムを用いて、転送可能な表現をうまく学習する。
提案手法は,DINOv3 やテキスト教師付き BMC-CLIP などの強力なベースラインを超越して,すべてのモダリティを横断するゼロショット画像画像検索において,新たな最先端技術を実現する。
論文 参考訳（メタデータ） (2025-09-01T10:59:39Z) - Mamba Based Feature Extraction And Adaptive Multilevel Feature Fusion For 3D Tumor Segmentation From Multi-modal Medical Image [8.999013226631893]
マルチモーダルな3次元医用画像分割は、異なるモーダルの腫瘍領域を正確に同定することを目的としている。
従来の畳み込みニューラルネットワーク(CNN)ベースの手法は、グローバルな特徴を捉えるのに苦労する。
トランスフォーマーに基づく手法は,グローバルな文脈を効果的に捉えつつも,3次元医用画像のセグメンテーションにおいて高い計算コストに直面する。
論文 参考訳（メタデータ） (2025-04-30T03:29:55Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。