論文の概要: Unified Multi-Modal Image Synthesis for Missing Modality Imputation

• arxiv url: http://arxiv.org/abs/2304.05340v2
• Date: Tue, 9 Jul 2024 09:01:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 00:40:48.499003
• Title: Unified Multi-Modal Image Synthesis for Missing Modality Imputation
• Title（参考訳）: モダリティの欠如に対する統一型マルチモーダル画像合成
• Authors: Yue Zhang, Chengtao Peng, Qiuli Wang, Dan Song, Kaiyan Li, S. Kevin Zhou,
• Abstract要約: そこで本研究では,モダリティの欠如を抑えるために,新しいマルチモーダル画像合成法を提案する。 提案手法は, 各種合成タスクの処理に有効であり, 従来の手法と比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 23.681228202899984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal medical images provide complementary soft-tissue characteristics that aid in the screening and diagnosis of diseases. However, limited scanning time, image corruption and various imaging protocols often result in incomplete multi-modal images, thus limiting the usage of multi-modal data for clinical purposes. To address this issue, in this paper, we propose a novel unified multi-modal image synthesis method for missing modality imputation. Our method overall takes a generative adversarial architecture, which aims to synthesize missing modalities from any combination of available ones with a single model. To this end, we specifically design a Commonality- and Discrepancy-Sensitive Encoder for the generator to exploit both modality-invariant and specific information contained in input modalities. The incorporation of both types of information facilitates the generation of images with consistent anatomy and realistic details of the desired distribution. Besides, we propose a Dynamic Feature Unification Module to integrate information from a varying number of available modalities, which enables the network to be robust to random missing modalities. The module performs both hard integration and soft integration, ensuring the effectiveness of feature combination while avoiding information loss. Verified on two public multi-modal magnetic resonance datasets, the proposed method is effective in handling various synthesis tasks and shows superior performance compared to previous methods.
• Abstract（参考訳）: マルチモーダル医療画像は、疾患のスクリーニングと診断に役立つ相補的なソフト・タスクの特徴を提供する。 しかし、スキャン時間、画像の破損、様々な画像プロトコルは、しばしば不完全なマルチモーダル画像をもたらすため、臨床目的でのマルチモーダルデータの使用が制限される。 この問題に対処するため,本研究では,モダリティ計算の欠如を解消するために,新しいマルチモーダル画像合成法を提案する。 提案手法は, 利用可能な任意の組み合わせから1つのモデルを用いて, 欠落したモダリティを合成することを目的とした, 生成的対角構造を総合的に捉えたものである。 この目的のために、我々は、入力モダリティに含まれるモダリティ不変情報と特定情報の両方を活用するために、ジェネレータ用の共通性と離散性感性エンコーダを特に設計する。 どちらの種類の情報も組み込むことで、一貫した解剖学と、所望の分布の現実的な詳細を持つ画像の生成が容易になる。 さらに,利用可能な様々なモダリティからの情報を統合する動的特徴統一モジュールを提案し,ネットワークがランダムに欠落したモダリティに対して堅牢になるようにした。 モジュールはハードインテグレーションとソフトインテグレーションの両方を実行し、情報損失を回避しながら機能の組み合わせの有効性を保証する。 2つの公開マルチモーダル磁気共鳴データセットを検証し, 提案手法は各種合成タスクの処理に有効であり, 従来法よりも優れた性能を示す。

関連論文リスト

• Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study [4.3536336830666755]
  医用画像解析において,マルチモーダル画像は包括的評価において重要な役割を担っている。 臨床実践では、スキャンコスト、スキャン時間制限、安全性考慮などの理由から、複数のモダリティを取得することは困難である。 本稿では,3次元医用画像のイメージ・ツー・イメージ翻訳において,パッチ・トリッピングを伴わない切り換え可能なブロックを利用するモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-01T03:22:57Z)
• A New Multimodal Medical Image Fusion based on Laplacian Autoencoder with Channel Attention [3.1531360678320897]
  ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。 ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。 本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-18T11:29:53Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
  マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。 本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
  論文  参考訳（メタデータ） (2022-04-08T01:35:19Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)
• Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
  マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。 当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。 マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
  論文  参考訳（メタデータ） (2020-02-11T08:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。