論文の概要: Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis
- arxiv url: http://arxiv.org/abs/2502.19390v1
- Date: Wed, 26 Feb 2025 18:34:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:58:31.285001
- Title: Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis
- Title（参考訳）: 腫瘍特異的欠失モダリティ合成のためのマルチモーダルコントラスト学習
- Authors: Minjoo Lim, Bogyeong Kang, Tae-Eui Kam,
- Abstract要約: 臨床環境での高品質なマルチモーダルMRIは、時間的制約、高コスト、患者の運動アーチファクトが原因で困難である。
悪性腫瘍領域に焦点をあてたマルチモーダルコントラスト学習を統合したMRIの再生モデルを構築した。
脳MR画像合成の課題で得られた結果は、提案モデルが欠落したモダリティを生成するのに優れていることを示している。
- 参考スコア（独自算出の注目度）: 1.4132765964347058
- License:
- Abstract: Multi-modal magnetic resonance imaging (MRI) is essential for providing complementary information about brain anatomy and pathology, leading to more accurate diagnoses. However, obtaining high-quality multi-modal MRI in a clinical setting is difficult due to factors such as time constraints, high costs, and patient movement artifacts. To overcome this difficulty, there is increasing interest in developing generative models that can synthesize missing target modality images from the available source ones. Therefore, we design a generative model for missing MRI that integrates multi-modal contrastive learning with a focus on critical tumor regions. Specifically, we integrate multi-modal contrastive learning, tailored for multiple source modalities, and enhance its effectiveness by selecting features based on entropy during the contrastive learning process. Additionally, our network not only generates the missing target modality images but also predicts segmentation outputs, simultaneously. This approach improves the generator's capability to precisely generate tumor regions, ultimately improving performance in downstream segmentation tasks. By leveraging a combination of contrastive, segmentation, and additional self-representation losses, our model effectively reflects target-specific information and generate high-quality target images. Consequently, our results in the Brain MR Image Synthesis challenge demonstrate that the proposed model excelled in generating the missing modality.
- Abstract（参考訳）: マルチモーダルMRI(Multi-modal magnetic resonance imaging)は、脳解剖学と病理学の相補的な情報を提供するために必須であり、より正確な診断につながる。
しかし, 時間的制約, 高コスト, 患者運動アーチファクトなどの要因により, 臨床環境での高品質なマルチモーダルMRIの取得は困難である。
この難しさを克服するため、利用可能なソースから不足するターゲットモダリティ画像を合成できる生成モデルの開発への関心が高まっている。
そこで我々は,腫瘍領域に焦点をあてたマルチモーダルコントラスト学習を統合したMRI生成モデルを構築した。
具体的には、マルチモーダルなコントラスト学習を統合し、コントラスト学習プロセス中にエントロピーに基づいた特徴を選択することにより、その効果を高める。
さらに,ネットワークは,欠落した目標モダリティ画像を生成するだけでなく,セグメンテーション出力を同時に予測する。
このアプローチは、腫瘍領域を正確に生成するジェネレータの機能を改善し、最終的に下流セグメンテーションタスクのパフォーマンスを向上する。
コントラスト、セグメンテーション、追加の自己表現損失の組合せを活用することで、本モデルはターゲット固有情報を効果的に反映し、高品質なターゲット画像を生成する。
その結果,脳MRI画像合成の課題において,提案したモデルが欠落したモダリティを生成するのに優れていることが示された。
関連論文リスト
- Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。
本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。
微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
論文 参考訳（メタデータ） (2024-06-12T20:35:16Z) - Disentangled Multimodal Brain MR Image Translation via Transformer-based
Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。
本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。
われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文 参考訳（メタデータ） (2024-02-01T06:34:35Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - A Learnable Variational Model for Joint Multimodal MRI Reconstruction
and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。
本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文 参考訳（メタデータ） (2022-04-08T01:35:19Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - Latent Correlation Representation Learning for Brain Tumor Segmentation
with Missing MRI Modalities [2.867517731896504]
MR画像から正確な脳腫瘍を抽出することが臨床診断と治療計画の鍵となる。
臨床におけるいくつかのイメージングモダリティを見逃すのが一般的です。
本稿では,新しい脳腫瘍分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-13T14:21:09Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。