論文の概要: Adaptive Latent Diffusion Model for 3D Medical Image to Image
Translation: Multi-modal Magnetic Resonance Imaging Study
- arxiv url: http://arxiv.org/abs/2311.00265v1
- Date: Wed, 1 Nov 2023 03:22:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 15:12:14.532001
- Title: Adaptive Latent Diffusion Model for 3D Medical Image to Image
Translation: Multi-modal Magnetic Resonance Imaging Study
- Title（参考訳）: 画像翻訳のための3次元医用画像の適応遅延拡散モデル:多モード磁気共鳴イメージングによる研究
- Authors: Jonghun Kim, Hyunjin Park
- Abstract要約: 医用画像解析において,マルチモーダル画像は包括的評価において重要な役割を担っている。
臨床実践では、スキャンコスト、スキャン時間制限、安全性考慮などの理由から、複数のモダリティを取得することは困難である。
本稿では,3次元医用画像のイメージ・ツー・イメージ翻訳において,パッチ・トリッピングを伴わない切り換え可能なブロックを利用するモデルを提案する。
- 参考スコア（独自算出の注目度）: 4.3536336830666755
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modal images play a crucial role in comprehensive evaluations in
medical image analysis providing complementary information for identifying
clinically important biomarkers. However, in clinical practice, acquiring
multiple modalities can be challenging due to reasons such as scan cost,
limited scan time, and safety considerations. In this paper, we propose a model
based on the latent diffusion model (LDM) that leverages switchable blocks for
image-to-image translation in 3D medical images without patch cropping. The 3D
LDM combined with conditioning using the target modality allows generating
high-quality target modality in 3D overcoming the shortcoming of the missing
out-of-slice information in 2D generation methods. The switchable block, noted
as multiple switchable spatially adaptive normalization (MS-SPADE), dynamically
transforms source latents to the desired style of the target latents to help
with the diffusion process. The MS-SPADE block allows us to have one single
model to tackle many translation tasks of one source modality to various
targets removing the need for many translation models for different scenarios.
Our model exhibited successful image synthesis across different source-target
modality scenarios and surpassed other models in quantitative evaluations
tested on multi-modal brain magnetic resonance imaging datasets of four
different modalities and an independent IXI dataset. Our model demonstrated
successful image synthesis across various modalities even allowing for
one-to-many modality translations. Furthermore, it outperformed other
one-to-one translation models in quantitative evaluations.
- Abstract（参考訳）: 臨床上重要なバイオマーカーを同定するための補完的情報を提供する医用画像解析において,マルチモーダル画像は包括的評価において重要な役割を果たす。
しかし, 臨床実践においては, スキャンコスト, スキャン時間制限, 安全性などの理由から, 複数の形態の獲得が困難である。
本稿では,3次元医用画像における画像から画像への変換に切り換え可能なブロックを利用する潜在拡散モデル(ldm)に基づくモデルを提案する。
目標モダリティを用いた条件付けと組み合わせた3次元ldmは、2次元生成法において欠落したスライス情報の欠点を克服する3次元において高品質な目標モダリティを生成することができる。
スイッチング可能なブロックは、多重スイッチング可能な空間適応正規化(MS-SPADE)と呼ばれ、ソースラテントをターゲットラテントの望ましいスタイルに動的に変換し、拡散プロセスを支援する。
MS-SPADEブロックは、1つの単一のモデルで1つのソースのモータリティの多くの翻訳タスクに取り組むことができ、異なるシナリオに対する多くの翻訳モデルの必要性を排除できる。
本モデルは,4つの異なるモードのマルチモーダル脳磁気共鳴画像データセットと独立なIXIデータセットを用いて,他のモデルよりも高い精度で画像合成に成功した。
本モデルは,一対多のモダリティ変換を可能としながら,様々なモダリティをまたいだ画像合成に成功した。
さらに、他の1対1の翻訳モデルよりも定量的な評価において優れていた。
関連論文リスト
- Deformation-Recovery Diffusion Model (DRDM): Instance Deformation for Image Manipulation and Synthesis [13.629617915974531]
変形-回復拡散モデル (DRDM) は, 変形拡散と回復に基づく拡散モデルである。
DRDMは、不合理な変形成分の回復を学ぶために訓練され、ランダムに変形した各画像を現実的な分布に復元する。
心MRIおよび肺CTによる実験結果から,DRDMは多種多様(10%以上の画像サイズ変形スケール)の変形を生じさせることが示された。
論文 参考訳（メタデータ） (2024-07-10T01:26:48Z) - M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
これまでの研究は主に2Dの医療画像に焦点を合わせてきた。
120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。
また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
論文 参考訳（メタデータ） (2024-03-31T06:55:12Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳（メタデータ） (2024-03-19T17:57:24Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-03-19T09:28:19Z) - Enhancing CT Image synthesis from multi-modal MRI data based on a
multi-task neural network framework [16.864720020158906]
拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。
我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。
マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
論文 参考訳（メタデータ） (2023-12-13T18:22:38Z) - Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D
Brain MRI Synthesis [35.45013834475523]
クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。
現在の医療画像合成法のほとんどは、生成的敵ネットワークに依存しており、悪名高いモード崩壊と不安定な訓練に悩まされている。
本稿では,2次元バックボーンを利用した医療データ合成のための新しいパラダイムを提案し,拡散型フレームワークであるMake-A-Volumeを提案する。
論文 参考訳（メタデータ） (2023-07-19T16:01:09Z) - Unified Multi-Modal Image Synthesis for Missing Modality Imputation [23.681228202899984]
そこで本研究では,モダリティの欠如を抑えるために,新しいマルチモーダル画像合成法を提案する。
提案手法は, 各種合成タスクの処理に有効であり, 従来の手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-11T16:59:15Z) - A Learnable Variational Model for Joint Multimodal MRI Reconstruction
and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。
本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文 参考訳（メタデータ） (2022-04-08T01:35:19Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳（メタデータ） (2020-07-09T13:23:15Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。