論文の概要: Multi-modal Vision Pre-training for Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2410.10604v2
• Date: Fri, 14 Mar 2025 14:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:04.623134
• Title: Multi-modal Vision Pre-training for Medical Image Analysis
• Title（参考訳）: 医用画像解析のためのマルチモーダルビジョン事前トレーニング
• Authors: Shaohao Rui, Lingzhi Chen, Zhenyu Tang, Lilong Wang, Mianxin Liu, Shaoting Zhang, Xiaosong Wang,
• Abstract要約: 自己教師型学習は、実世界のアプリケーションに対するトレーニングデータ要求を抑えることにより、医療画像解析を大いに促進してきた。 我々は,3つの代用タスクによる新しいマルチモーダル画像事前学習を行い,相互モダリティ表現と相関の学習を容易にする。 Dice Scoreは6つのセグメンテーションベンチマークで0.28%-14.47%改善し、4つの画像分類タスクで0.65%-18.07%向上した。
• 参考スコア（独自算出の注目度）: 11.569448567735435
• License:
• Abstract: Self-supervised learning has greatly facilitated medical image analysis by suppressing the training data requirement for real-world applications. Current paradigms predominantly rely on self-supervision within uni-modal image data, thereby neglecting the inter-modal correlations essential for effective learning of cross-modal image representations. This limitation is particularly significant for naturally grouped multi-modal data, e.g., multi-parametric MRI scans for a patient undergoing various functional imaging protocols in the same study. To bridge this gap, we conduct a novel multi-modal image pre-training with three proxy tasks to facilitate the learning of cross-modality representations and correlations using multi-modal brain MRI scans (over 2.4 million images in 16,022 scans of 3,755 patients), i.e., cross-modal image reconstruction, modality-aware contrastive learning, and modality template distillation. To demonstrate the generalizability of our pre-trained model, we conduct extensive experiments on various benchmarks with ten downstream tasks. The superior performance of our method is reported in comparison to state-of-the-art pre-training methods, with Dice Score improvement of 0.28\%-14.47\% across six segmentation benchmarks and a consistent accuracy boost of 0.65\%-18.07\% in four individual image classification tasks.
• Abstract（参考訳）: 自己教師型学習は、実世界のアプリケーションに対するトレーニングデータ要求を抑えることにより、医療画像解析を大いに促進してきた。 現在のパラダイムは、一様画像データの自己超越に大きく依存しているため、クロスモーダル画像表現の効果的な学習に不可欠なモーダル間相関は無視される。 この制限は、自然にグループ化されたマルチモーダルデータ、例えば、同じ研究で様々な機能的イメージングプロトコルを実行している患者に対するマルチパラメトリックMRIスキャンにおいて特に重要である。 このギャップを埋めるために、我々は、3つのプロキシタスクによる新しいマルチモーダル画像事前トレーニングを行い、マルチモーダル脳MRIスキャン(3,755人の16,022人のスキャンで240万枚以上の画像)、すなわち、クロスモーダル画像再構成、モーダル対応コントラスト学習、モダリティテンプレート蒸留を用いて、クロスモーダル表現と相関の学習を容易にする。 事前学習したモデルの一般化性を実証するために,10の下流タスクを伴う様々なベンチマークで広範な実験を行った。 Dice Score は6つのセグメンテーションベンチマークで 0.28 %-14.47 % 改善し、4つの画像分類タスクで 0.65 %-18.07 % の精度向上を実現した。

関連論文リスト

• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's Disease from sMRI and PET Scans [11.420077093805382]
  我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。 本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。 次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2023-07-31T02:04:05Z)
• Uncertainty-Aware Multi-Parametric Magnetic Resonance Image Information Fusion for 3D Object Segmentation [12.361668672097753]
  拡張された3次元画像セグメンテーションのための情報を完全に活用するために,不確実性を考慮したマルチパラメトリックMR画像特徴融合法を提案する。 提案手法は,既存モデルと比較してセグメンテーション性能が向上する。
  論文  参考訳（メタデータ） (2022-11-16T09:16:52Z)
• DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
  多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。 既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。 そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:01:14Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• FAST-AID Brain: Fast and Accurate Segmentation Tool using Artificial Intelligence Developed for Brain [0.8376091455761259]
  ヒト脳の132領域への高速かつ正確なセグメンテーションのための新しい深層学習法を提案する。 提案モデルは、効率的なU-Netライクなネットワークと、異なるビューと階層関係の交差点の利点を利用する。 提案手法は,画像の事前処理や性能低下を伴わずに頭蓋骨や他の人工物を含む脳MRIデータに適用することができる。
  論文  参考訳（メタデータ） (2022-08-30T16:06:07Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Latent Correlation Representation Learning for Brain Tumor Segmentation with Missing MRI Modalities [2.867517731896504]
  MR画像から正確な脳腫瘍を抽出することが臨床診断と治療計画の鍵となる。 臨床におけるいくつかのイメージングモダリティを見逃すのが一般的です。 本稿では,新しい脳腫瘍分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-13T14:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。