論文の概要: BrainMVP: Multi-modal Vision Pre-training for Brain Image Analysis using Multi-parametric MRI

• arxiv url: http://arxiv.org/abs/2410.10604v1
• Date: Mon, 14 Oct 2024 15:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 20:35:30.961931
• Title: BrainMVP: Multi-modal Vision Pre-training for Brain Image Analysis using Multi-parametric MRI
• Title（参考訳）: BrainMVP:マルチパラメトリックMRIを用いた脳画像解析のためのマルチモーダルビジョン事前トレーニング
• Authors: Shaohao Rui, Lingzhi Chen, Zhenyu Tang, Lilong Wang, Mianxin Liu, Shaoting Zhang, Xiaosong Wang,
• Abstract要約: BrainMVPは、マルチパラメトリックMRIスキャンを用いた脳画像解析のためのマルチモーダルビジョン事前トレーニングフレームワークである。 クロスモーダル・コンストラクション(英語版)は、特徴ある脳画像の埋め込みと効率的なモーダル融合能力を学習するために研究されている。 ダウンストリームタスクの実験は、医学領域における最先端の事前訓練方法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 11.569448567735435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate diagnosis of brain abnormalities is greatly enhanced by the inclusion of complementary multi-parametric MRI imaging data. There is significant potential to develop a universal pre-training model that can be quickly adapted for image modalities and various clinical scenarios. However, current models often rely on uni-modal image data, neglecting the cross-modal correlations among different image modalities or struggling to scale up pre-training in the presence of missing modality data. In this paper, we propose BrainMVP, a multi-modal vision pre-training framework for brain image analysis using multi-parametric MRI scans. First, we collect 16,022 brain MRI scans (over 2.4 million images), encompassing eight MRI modalities sourced from a diverse range of centers and devices. Then, a novel pre-training paradigm is proposed for the multi-modal MRI data, addressing the issue of missing modalities and achieving multi-modal information fusion. Cross-modal reconstruction is explored to learn distinctive brain image embeddings and efficient modality fusion capabilities. A modality-wise data distillation module is proposed to extract the essence representation of each MR image modality for both the pre-training and downstream application purposes. Furthermore, we introduce a modality-aware contrastive learning module to enhance the cross-modality association within a study. Extensive experiments on downstream tasks demonstrate superior performance compared to state-of-the-art pre-training methods in the medical domain, with Dice Score improvement of 0.28%-14.47% across six segmentation benchmarks and a consistent accuracy improvement of 0.65%-18.07% in four individual classification tasks.
• Abstract（参考訳）: 脳の異常の正確な診断は、相補的なマルチパラメトリックMRI画像データを含めることで大幅に向上する。 画像のモダリティや様々な臨床シナリオに迅速に適応できる、普遍的な事前学習モデルを開発する大きな可能性を秘めている。 しかし、現在のモデルは、しばしばユニモーダル画像データに依存し、異なる画像モダリティ間の相互モーダル相関を無視したり、欠落したモダリティデータの存在下で事前学習のスケールアップに苦労している。 本稿では,マルチパラメトリックMRIスキャンを用いた脳画像解析のためのマルチモーダル・ビジョン事前学習フレームワークであるBrainMVPを提案する。 まず16,022個の脳MRIスキャン(240万枚以上の画像)を収集し、さまざまなセンターやデバイスから得られた8つのMRIモダリティを含む。 そして,マルチモーダルMRIデータに対する新しい事前学習パラダイムを提案し,モダリティの欠如の問題に対処し,マルチモーダル情報融合を実現する。 クロスモーダル・コンストラクション(英語版)は、特徴ある脳画像の埋め込みと効率的なモーダル融合能力を学習するために研究されている。 プレトレーニングおよびダウンストリームの適用目的の両方に対して,各MR画像のモダリティの固有表現を抽出するために,モダリティワイズデータ蒸留モジュールを提案する。 さらに,モダリティを考慮したコントラスト学習モジュールを導入し,モダリティ間の関連性を高める。 Dice Scoreは6つのセグメンテーションベンチマークで0.28%-14.47%、一貫した精度の改善は0.65%-18.07%である。

関連論文リスト

• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's Disease from sMRI and PET Scans [11.420077093805382]
  我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。 本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。 次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2023-07-31T02:04:05Z)
• Uncertainty-Aware Multi-Parametric Magnetic Resonance Image Information Fusion for 3D Object Segmentation [12.361668672097753]
  拡張された3次元画像セグメンテーションのための情報を完全に活用するために,不確実性を考慮したマルチパラメトリックMR画像特徴融合法を提案する。 提案手法は,既存モデルと比較してセグメンテーション性能が向上する。
  論文  参考訳（メタデータ） (2022-11-16T09:16:52Z)
• DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
  多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。 既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。 そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:01:14Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• FAST-AID Brain: Fast and Accurate Segmentation Tool using Artificial Intelligence Developed for Brain [0.8376091455761259]
  ヒト脳の132領域への高速かつ正確なセグメンテーションのための新しい深層学習法を提案する。 提案モデルは、効率的なU-Netライクなネットワークと、異なるビューと階層関係の交差点の利点を利用する。 提案手法は,画像の事前処理や性能低下を伴わずに頭蓋骨や他の人工物を含む脳MRIデータに適用することができる。
  論文  参考訳（メタデータ） (2022-08-30T16:06:07Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Latent Correlation Representation Learning for Brain Tumor Segmentation with Missing MRI Modalities [2.867517731896504]
  MR画像から正確な脳腫瘍を抽出することが臨床診断と治療計画の鍵となる。 臨床におけるいくつかのイメージングモダリティを見逃すのが一般的です。 本稿では,新しい脳腫瘍分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-13T14:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。