論文の概要: Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D Brain MRI Synthesis

• arxiv url: http://arxiv.org/abs/2307.10094v1
• Date: Wed, 19 Jul 2023 16:01:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 13:29:25.629583
• Title: Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D Brain MRI Synthesis
• Title（参考訳）: Make-A-Volume:クロスモーダル3次元脳MRI合成のための潜時拡散モデル
• Authors: Lingting Zhu, Zeyue Xue, Zhenchao Jin, Xian Liu, Jingzhen He, Ziwei Liu, Lequan Yu
• Abstract要約: クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。 現在の医療画像合成法のほとんどは、生成的敵ネットワークに依存しており、悪名高いモード崩壊と不安定な訓練に悩まされている。 本稿では,2次元バックボーンを利用した医療データ合成のための新しいパラダイムを提案し,拡散型フレームワークであるMake-A-Volumeを提案する。
• 参考スコア（独自算出の注目度）: 35.45013834475523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modality medical image synthesis is a critical topic and has the potential to facilitate numerous applications in the medical imaging field. Despite recent successes in deep-learning-based generative models, most current medical image synthesis methods rely on generative adversarial networks and suffer from notorious mode collapse and unstable training. Moreover, the 2D backbone-driven approaches would easily result in volumetric inconsistency, while 3D backbones are challenging and impractical due to the tremendous memory cost and training difficulty. In this paper, we introduce a new paradigm for volumetric medical data synthesis by leveraging 2D backbones and present a diffusion-based framework, Make-A-Volume, for cross-modality 3D medical image synthesis. To learn the cross-modality slice-wise mapping, we employ a latent diffusion model and learn a low-dimensional latent space, resulting in high computational efficiency. To enable the 3D image synthesis and mitigate volumetric inconsistency, we further insert a series of volumetric layers in the 2D slice-mapping model and fine-tune them with paired 3D data. This paradigm extends the 2D image diffusion model to a volumetric version with a slightly increasing number of parameters and computation, offering a principled solution for generic cross-modality 3D medical image synthesis. We showcase the effectiveness of our Make-A-Volume framework on an in-house SWI-MRA brain MRI dataset and a public T1-T2 brain MRI dataset. Experimental results demonstrate that our framework achieves superior synthesis results with volumetric consistency.
• Abstract（参考訳）: クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。 最近のディープラーニングに基づく生成モデルの成功にもかかわらず、現在の医用画像合成手法は生成的逆ネットワークに依存しており、悪名高いモード崩壊と不安定なトレーニングに苦しめられている。 さらに、2Dバックボーン駆動のアプローチはボリュームの不整合をもたらすが、3Dバックボーンは膨大なメモリコストとトレーニング困難のために困難で実用的ではない。 本稿では,2次元バックボーンを活用し,ボリュームデータ合成の新しいパラダイムを提案するとともに,クロスモダリティ3次元医用画像合成のための拡散型フレームワークmake-a-volumeを提案する。 クロスモダリティスライスワイズマッピングを学習するために,潜時拡散モデルを用いて低次元潜時空間を学習し,高い計算効率を実現する。 3次元画像合成を可能にし、体積不整合を緩和するために、さらに2次元スライスマッピングモデルに一連の体積層を挿入し、それらを対の3dデータで微調整する。 このパラダイムは、2次元画像拡散モデルを少し多くのパラメータと計算量でボリュームバージョンに拡張し、汎用的なクロスモダリティ3次元医用画像合成の原理解を提供する。 我々は,Make-A-Volumeフレームワークが社内のSWI-MRA脳MRIデータセットと公開T1-T2脳MRIデータセットに対して有効であることを示す。 実験の結果,本フレームワークはボリューム一貫性により優れた合成結果が得られることがわかった。

関連論文リスト

• Cross-D Conv: Cross-Dimensional Transferable Knowledge Base via Fourier Shifting Operation [3.69758875412828]
  クロスD Conv 演算はフーリエ領域における位相シフトを学習することで次元ギャップを橋渡しする。 本手法は2次元と3次元の畳み込み操作間のシームレスな重み移動を可能にする。
  論文  参考訳（メタデータ） (2024-11-02T13:03:44Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• Pathology Synthesis of 3D-Consistent Cardiac MR Images using 2D VAEs and GANs [0.5039813366558306]
  本稿では,教師付きディープラーニング(DL)トレーニングの適用のためのラベル付きデータを生成する手法を提案する。 画像合成はラベル変形とラベルから画像への変換からなる。 心臓MRI画像のデータベースを多様化・拡張する手法として,このようなアプローチが有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-09T10:17:49Z)
• Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
  既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。 彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。 本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-28T08:34:21Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。