論文の概要: MedGen3D: A Deep Generative Framework for Paired 3D Image and Mask
Generation
- arxiv url: http://arxiv.org/abs/2304.04106v2
- Date: Tue, 4 Jul 2023 23:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 22:37:07.210560
- Title: MedGen3D: A Deep Generative Framework for Paired 3D Image and Mask
Generation
- Title(参考訳): MedGen3D: ペアド3D画像とマスク生成のための深層生成フレームワーク
- Authors: Kun Han, Yifeng Xiong, Chenyu You, Pooya Khosravi, Shanlin Sun,
Xiangyi Yan, James Duncan, Xiaohui Xie
- Abstract要約: 我々は3次元医用画像とマスクをペアで生成できるフレームワークであるMedGen3Dを紹介する。
提案フレームワークは,合成画像とセグメンテーションマップの正確なアライメントを保証する。
- 参考スコア(独自算出の注目度): 17.373961762646356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Acquiring and annotating sufficient labeled data is crucial in developing
accurate and robust learning-based models, but obtaining such data can be
challenging in many medical image segmentation tasks. One promising solution is
to synthesize realistic data with ground-truth mask annotations. However, no
prior studies have explored generating complete 3D volumetric images with
masks. In this paper, we present MedGen3D, a deep generative framework that can
generate paired 3D medical images and masks. First, we represent the 3D medical
data as 2D sequences and propose the Multi-Condition Diffusion Probabilistic
Model (MC-DPM) to generate multi-label mask sequences adhering to anatomical
geometry. Then, we use an image sequence generator and semantic diffusion
refiner conditioned on the generated mask sequences to produce realistic 3D
medical images that align with the generated masks. Our proposed framework
guarantees accurate alignment between synthetic images and segmentation maps.
Experiments on 3D thoracic CT and brain MRI datasets show that our synthetic
data is both diverse and faithful to the original data, and demonstrate the
benefits for downstream segmentation tasks. We anticipate that MedGen3D's
ability to synthesize paired 3D medical images and masks will prove valuable in
training deep learning models for medical imaging tasks.
- Abstract(参考訳): 十分なラベル付きデータの取得と注釈付けは、正確で堅牢な学習ベースモデルの開発には不可欠であるが、そのようなデータを取得することは、多くの医療画像分割タスクにおいて困難である。
有望な解決策の1つは、接地マスクアノテーションで現実的なデータを合成することである。
しかし、マスクを用いた完全な3次元ボリューム画像の生成について、先行研究は行われていない。
本稿では,3次元医用画像とマスクをペアで生成する深層生成フレームワークであるmedgen3dについて述べる。
まず,3次元医用データを2次元配列として表現し,解剖学的形状に付着したマルチラベルマスク列を生成するためのマルチコンディション拡散確率モデル(MC-DPM)を提案する。
次に,生成マスク列に条件付き画像系列生成器とセマンティック拡散精製器を用いて,生成マスクと整合したリアルな3次元医用画像を生成する。
提案フレームワークは,合成画像とセグメンテーションマップの正確なアライメントを保証する。
3次元胸部ctと脳mriのデータセットを用いた実験では, 合成データはオリジナルデータに対して多様で忠実であり, 下流分節作業の利点を示す。
我々は,MedGen3Dが組み合わせた3次元医用画像とマスクを合成する能力は,医用画像処理タスクのためのディープラーニングモデルのトレーニングに有用であることが期待できる。
関連論文リスト
- Discriminative Hamiltonian Variational Autoencoder for Accurate Tumor Segmentation in Data-Scarce Regimes [2.8498944632323755]
医用画像分割のためのエンドツーエンドハイブリッドアーキテクチャを提案する。
ハミルトン変分オートエンコーダ(HVAE)と識別正則化を用いて生成画像の品質を向上する。
我々のアーキテクチャはスライス・バイ・スライス・ベースで3Dボリュームを分割し、リッチな拡張データセットをカプセル化する。
論文 参考訳(メタデータ) (2024-06-17T15:42:08Z) - ToNNO: Tomographic Reconstruction of a Neural Network's Output for Weakly Supervised Segmentation of 3D Medical Images [6.035125735474387]
ToNNOは、ニューラルネットワークの出力のトモグラフィー再構成に基づいている。
入力された3Dボリュームから異なる角度のスライスを抽出し、これらのスライスを2Dエンコーダに供給し、エンコーダの予測の3Dヒートマップを再構成するために逆ラドン変換を適用する。
本研究では、2Dエンコーダを訓練し、関心領域を含むスライスに対して高い値を出力することにより、医用画像セグメンテーションの弱制御に適用する。
論文 参考訳(メタデータ) (2024-04-19T11:27:56Z) - M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
これまでの研究は主に2Dの医療画像に焦点を合わせてきた。
120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。
また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
論文 参考訳(メタデータ) (2024-03-31T06:55:12Z) - Generative Enhancement for 3D Medical Images [74.17066529847546]
本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。
本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。
3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
論文 参考訳(メタデータ) (2024-03-19T15:57:04Z) - 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - 3D Matting: A Benchmark Study on Soft Segmentation Method for Pulmonary
Nodules Applied in Computed Tomography [32.775884701366465]
医用画像中の病変を3D領域に導入し,αマット(ソフトマスク)を用いて3D画像に病変を記述した。
この問題に対処するため,従来手法と深層学習法の両方を含む3Dマッティングの総合的研究を行った。
本稿では,最初のエンドツーエンドの3次元画像マッチングネットワークを提案し,医用3次元画像マッチングベンチマークを実装した。
論文 参考訳(メタデータ) (2022-10-11T02:40:18Z) - 3D Matting: A Soft Segmentation Method Applied in Computed Tomography [26.25446145993599]
CT、MRI、PETなどの3次元画像は、医用画像の分野では一般的であり、臨床診断において重要である。
セマンティック曖昧さは多くの医用画像ラベルの典型的な特徴である。
2次元医用画像では、画像マッチングによって生成された2次元マスクの代わりにソフトマスクを用いることで、病変を特徴づけることができる。
論文 参考訳(メタデータ) (2022-09-16T10:18:59Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳(メタデータ) (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。