論文の概要: Hierarchical Amortized Training for Memory-efficient High Resolution 3D
GAN
- arxiv url: http://arxiv.org/abs/2008.01910v4
- Date: Mon, 12 Sep 2022 17:04:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 18:38:28.237446
- Title: Hierarchical Amortized Training for Memory-efficient High Resolution 3D
GAN
- Title(参考訳): メモリ効率3D GANのための階層的補正トレーニング
- Authors: Li Sun, Junxiang Chen, Yanwu Xu, Mingming Gong, Ke Yu, Kayhan
Batmanghelich
- Abstract要約: 本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。
トレーニングと推論の異なる構成を使用することで、この目標を達成する。
3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
- 参考スコア(独自算出の注目度): 52.851990439671475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Adversarial Networks (GAN) have many potential medical imaging
applications, including data augmentation, domain adaptation, and model
explanation. Due to the limited memory of Graphical Processing Units (GPUs),
most current 3D GAN models are trained on low-resolution medical images, these
models either cannot scale to high-resolution or are prone to patchy artifacts.
In this work, we propose a novel end-to-end GAN architecture that can generate
high-resolution 3D images. We achieve this goal by using different
configurations between training and inference. During training, we adopt a
hierarchical structure that simultaneously generates a low-resolution version
of the image and a randomly selected sub-volume of the high-resolution image.
The hierarchical design has two advantages: First, the memory demand for
training on high-resolution images is amortized among sub-volumes. Furthermore,
anchoring the high-resolution sub-volumes to a single low-resolution image
ensures anatomical consistency between sub-volumes. During inference, our model
can directly generate full high-resolution images. We also incorporate an
encoder with a similar hierarchical structure into the model to extract
features from the images. Experiments on 3D thorax CT and brain MRI demonstrate
that our approach outperforms state of the art in image generation. We also
demonstrate clinical applications of the proposed model in data augmentation
and clinical-relevant feature extraction.
- Abstract(参考訳): Generative Adversarial Networks (GAN) は、データ拡張、ドメイン適応、モデル説明など、多くの潜在的な医療画像アプリケーションを持っている。
グラフィック処理ユニット(gpu)のメモリが限られているため、現在の3d ganモデルのほとんどは低解像度の医療画像で訓練されている。
本稿では,高分解能3d画像を生成するための新しいganアーキテクチャを提案する。
トレーニングと推論の異なる構成を使用することで、この目標を達成する。
学習中,低解像度画像とランダムに選択された高画質画像のサブボリュームを同時に生成する階層構造を採用する。
階層的設計には2つの利点がある: まず、高解像度画像のトレーニングに対するメモリ要求は、サブボリューム間で償却される。
さらに、高解像度サブボリュームを単一の低解像度画像に固定することで、サブボリューム間の解剖学的一貫性が保証される。
推論中、我々のモデルは完全な高解像度画像を直接生成できる。
また,同様の階層構造を持つエンコーダをモデルに組み込んで,画像から特徴を抽出する。
3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
また,データ拡張および臨床関連特徴抽出における提案モデルの臨床的応用について述べる。
関連論文リスト
- WDM: 3D Wavelet Diffusion Models for High-Resolution Medical Image
Synthesis [1.767791678320834]
本研究はウェーブレット画像に拡散モデルを適用するウェーブレットベースの医用画像合成フレームワークであるWDMを提案する。
BraTS と LIDC-IDRI の非条件画像生成実験結果から,FID (State-of-the-art image fidelity) とMS-SSIM (Simified diversity) のスコアが得られた。
論文 参考訳(メタデータ) (2024-02-29T11:11:05Z) - ScaleCrafter: Tuning-free Higher-Resolution Visual Generation with
Diffusion Models [126.35334860896373]
本研究では,事前学習した拡散モデルから,トレーニング画像サイズよりもはるかに高解像度で画像を生成する能力について検討する。
注意ベースや共同拡散アプローチのような、高分解能な生成のための既存の研究は、これらの問題にうまく対処できない。
本稿では,推論中の畳み込み知覚場を動的に調整できる簡易かつ効果的な再拡張法を提案する。
論文 参考訳(メタデータ) (2023-10-11T17:52:39Z) - MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT
Images [19.70945853563019]
本稿では,テキスト情報によって誘導される高品質な3次元肺CT画像を作成するための革新的な手法を提案する。
現在の最先端のアプローチは、低解像度の出力に限られており、放射線学レポートの豊富な情報を不活用している。
論文 参考訳(メタデータ) (2023-10-05T14:16:22Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳(メタデータ) (2023-08-22T14:39:17Z) - Diffusion Models for Memory-efficient Processing of 3D Medical Images [0.8388591755871734]
本稿では,3次元拡散モデルにおける資源消費の削減法について述べる。
本論文の主な貢献は,メモリ効率のパッチベース拡散モデルである。
提案した拡散モデルは,任意の画像生成タスクに適用できるが,BraTS 2020データセットの腫瘍セグメンテーションタスクについて評価する。
論文 参考訳(メタデータ) (2023-03-27T15:10:19Z) - CLADE: Cycle Loss Augmented Degradation Enhancement for Unpaired
Super-Resolution of Anisotropic Medical Images [0.06597195879147556]
3次元画像(3D)は医学的応用で人気があるが、厚く低空間分解能のスライスを持つ異方性3Dボリュームはスキャン時間を短縮するために取得されることが多い。
深層学習(DL)は超解像再構成(SRR)により高分解能特徴を復元するソリューションを提供する
腹部MRIおよび腹部CTにおけるCLADEの有用性を示すとともに,低分解能ボリュームよりもCLADE画像の画質が有意に向上した。
論文 参考訳(メタデータ) (2023-03-21T13:19:51Z) - Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image
Denoising [50.039949798156826]
本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。
ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。
次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
論文 参考訳(メタデータ) (2022-07-09T13:35:12Z) - SOUP-GAN: Super-Resolution MRI Using Generative Adversarial Networks [9.201328999176402]
本稿では,GAN(Perceptual-tuned Generative Adversarial Network)を用いたSOUP-GANというフレームワークを提案する。
本モデルは,新しい3D SR技術として期待でき,臨床と研究の両方に応用できる可能性を示している。
論文 参考訳(メタデータ) (2021-06-04T16:59:23Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳(メタデータ) (2020-07-09T13:23:15Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。