論文の概要: Generative Enhancement for 3D Medical Images
- arxiv url: http://arxiv.org/abs/2403.12852v1
- Date: Tue, 19 Mar 2024 15:57:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 13:34:19.977825
- Title: Generative Enhancement for 3D Medical Images
- Title(参考訳): 3次元医用画像のジェネレーティブエンハンスメント
- Authors: Lingting Zhu, Noel Codella, Dongdong Chen, Zhenchao Jin, Lu Yuan, Lequan Yu,
- Abstract要約: 本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。
本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。
3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
- 参考スコア(独自算出の注目度): 74.17066529847546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The limited availability of 3D medical image datasets, due to privacy concerns and high collection or annotation costs, poses significant challenges in the field of medical imaging. While a promising alternative is the use of synthesized medical data, there are few solutions for realistic 3D medical image synthesis due to difficulties in backbone design and fewer 3D training samples compared to 2D counterparts. In this paper, we propose GEM-3D, a novel generative approach to the synthesis of 3D medical images and the enhancement of existing datasets using conditional diffusion models. Our method begins with a 2D slice, noted as the informed slice to serve the patient prior, and propagates the generation process using a 3D segmentation mask. By decomposing the 3D medical images into masks and patient prior information, GEM-3D offers a flexible yet effective solution for generating versatile 3D images from existing datasets. GEM-3D can enable dataset enhancement by combining informed slice selection and generation at random positions, along with editable mask volumes to introduce large variations in diffusion sampling. Moreover, as the informed slice contains patient-wise information, GEM-3D can also facilitate counterfactual image synthesis and dataset-level de-enhancement with desired control. Experiments on brain MRI and abdomen CT images demonstrate that GEM-3D is capable of synthesizing high-quality 3D medical images with volumetric consistency, offering a straightforward solution for dataset enhancement during inference. The code is available at https://github.com/HKU-MedAI/GEM-3D.
- Abstract(参考訳): プライバシの懸念と高い収集やアノテーションのコストによる3D画像データセットの可用性の制限は、医用画像の分野で大きな課題となっている。
将来有望な代替手段は、合成医療データを使用することであるが、バックボーン設計の困難さと、2D画像と比較して3Dトレーニングサンプルが少ないため、リアルな3D医療画像合成のためのソリューションはほとんどない。
本稿では,3次元医用画像の合成と,条件付き拡散モデルを用いた既存のデータセットの強化のための新しい生成手法であるGEM-3Dを提案する。
本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。
3Dの医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは既存のデータセットから汎用的な3D画像を生成する、柔軟で効果的なソリューションを提供する。
GEM-3Dは、情報スライス選択とランダムな位置での生成と、編集可能なマスクボリュームを組み合わせて、拡散サンプリングの大きなバリエーションを導入することで、データセットの強化を可能にする。
さらに、情報スライスには患者情報が含まれているため、GEM-3Dは、所望の制御で、反ファクト画像合成とデータセットレベルのデエンハンスメントを促進することができる。
脳MRIと腹部CT画像の実験では、GEM-3Dは高画質の3D医療画像を容積整合性で合成することができ、推論中にデータセットを拡張するための簡単なソリューションを提供する。
コードはhttps://github.com/HKU-MedAI/GEM-3Dで入手できる。
関連論文リスト
- E3D-GPT: Enhanced 3D Visual Foundation for Medical Vision-Language Model [23.56751925900571]
3次元医用視覚言語モデルの開発は、疾患の診断と患者の治療に有意な可能性を秘めている。
自己教師付き学習を用いて3次元視覚特徴抽出のための3次元視覚基盤モデルを構築した。
本研究では,3次元空間畳み込みを高精細画像の特徴の集約・投影に応用し,計算複雑性を低減した。
本モデルは,既存の報告生成法,視覚的質問応答法,疾患診断法と比較して,優れた性能を示す。
論文 参考訳(メタデータ) (2024-10-18T06:31:40Z) - FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳(メタデータ) (2024-10-13T01:25:05Z) - Cross-Dimensional Medical Self-Supervised Representation Learning Based on a Pseudo-3D Transformation [68.60747298865394]
擬似3D変換(CDSSL-P3D)に基づく新しい三次元SSLフレームワークを提案する。
具体的には、2D画像を3Dデータに整合したフォーマットに変換するim2colアルゴリズムに基づく画像変換を提案する。
この変換は2次元および3次元データのシームレスな統合を可能にし、3次元医用画像解析のための相互教師あり学習を容易にする。
論文 参考訳(メタデータ) (2024-06-03T02:57:25Z) - M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
これまでの研究は主に2Dの医療画像に焦点を合わせてきた。
120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。
また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
論文 参考訳(メタデータ) (2024-03-31T06:55:12Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。
このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。
我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D
Brain MRI Synthesis [35.45013834475523]
クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。
現在の医療画像合成法のほとんどは、生成的敵ネットワークに依存しており、悪名高いモード崩壊と不安定な訓練に悩まされている。
本稿では,2次元バックボーンを利用した医療データ合成のための新しいパラダイムを提案し,拡散型フレームワークであるMake-A-Volumeを提案する。
論文 参考訳(メタデータ) (2023-07-19T16:01:09Z) - MedGen3D: A Deep Generative Framework for Paired 3D Image and Mask
Generation [17.373961762646356]
我々は3次元医用画像とマスクをペアで生成できるフレームワークであるMedGen3Dを紹介する。
提案フレームワークは,合成画像とセグメンテーションマップの正確なアライメントを保証する。
論文 参考訳(メタデータ) (2023-04-08T21:43:26Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳(メタデータ) (2023-03-15T08:28:06Z) - 3D Matting: A Soft Segmentation Method Applied in Computed Tomography [26.25446145993599]
CT、MRI、PETなどの3次元画像は、医用画像の分野では一般的であり、臨床診断において重要である。
セマンティック曖昧さは多くの医用画像ラベルの典型的な特徴である。
2次元医用画像では、画像マッチングによって生成された2次元マスクの代わりにソフトマスクを用いることで、病変を特徴づけることができる。
論文 参考訳(メタデータ) (2022-09-16T10:18:59Z) - Improved $\alpha$-GAN architecture for generating 3D connected volumes
with an application to radiosurgery treatment planning [0.5156484100374059]
接続された3Dボリュームを生成するための3D$alpha$-GANの改良版を提案する。
我々のモデルは高品質な3D腫瘍ボリュームとそれに伴う治療仕様をうまく生成できる。
改良された3D$alpha$-GANは、合成医用画像データを生成する貴重な情報源となる。
論文 参考訳(メタデータ) (2022-07-13T16:39:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。