論文の概要: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical
Images
- arxiv url: http://arxiv.org/abs/2208.03934v3
- Date: Tue, 5 Dec 2023 23:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 19:52:00.961944
- Title: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical
Images
- Title(参考訳): 3次元医用画像の効率的な生成のための2次元畳み込み重み付け
- Authors: Yanbin Liu, Girish Dwivedi, Farid Boussaid, Frank Sanfilippo, Makoto
Yamada, and Mohammed Bennamoun
- Abstract要約: 3次元医用画像は取得・注釈するのに高価であり,多くのパラメータが3次元畳み込みに関与している。
本稿では3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。
提案手法は,パラメータが大幅に少ない3次元画像の画質向上につながることを示す。
- 参考スコア(独自算出の注目度): 35.849240945334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generation of three-dimensional (3D) medical images has great application
potential since it takes into account the 3D anatomical structure. Two problems
prevent effective training of a 3D medical generative model: (1) 3D medical
images are expensive to acquire and annotate, resulting in an insufficient
number of training images, and (2) a large number of parameters are involved in
3D convolution.
Methods: We propose a novel GAN model called 3D Split&Shuffle-GAN. To address
the 3D data scarcity issue, we first pre-train a two-dimensional (2D) GAN model
using abundant image slices and inflate the 2D convolution weights to improve
the initialization of the 3D GAN. Novel 3D network architectures are proposed
for both the generator and discriminator of the GAN model to significantly
reduce the number of parameters while maintaining the quality of image
generation. Several weight inflation strategies and parameter-efficient 3D
architectures are investigated.
Results: Experiments on both heart (Stanford AIMI Coronary Calcium) and brain
(Alzheimer's Disease Neuroimaging Initiative) datasets show that our method
leads to improved 3D image generation quality (14.7 improvements on Fr\'echet
inception distance) with significantly fewer parameters (only 48.5% of the
baseline method).
Conclusions: We built a parameter-efficient 3D medical image generation
model. Due to the efficiency and effectiveness, it has the potential to
generate high-quality 3D brain and heart images for real use cases.
- Abstract(参考訳): 3次元医用画像の生成は、3次元解剖学的構造を考慮すると、大きな応用可能性を持つ。
2つの問題は、(1)3次元医用画像の取得と注釈のコストが高く、訓練画像の数が不足し、(2)多くのパラメータが3次元畳み込みに関与している、という3次元医用生成モデルの効果的な訓練を妨げる。
方法: 3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。
3Dデータ不足問題に対処するために,我々はまず,豊富な画像スライスを用いて2次元(2D)GANモデルを事前訓練し,その2次元畳み込み重みを増大させて3DGANの初期化を改善する。
GANモデルのジェネレータと識別器の両方に新しい3Dネットワークアーキテクチャを提案し、画像生成の品質を維持しながらパラメータ数を著しく削減する。
重み付け戦略とパラメータ効率3Dアーキテクチャについて検討した。
結果: 心臓(スタンフォード・エイミ冠状カルシウム)と脳(アルツハイマー病の神経画像化イニシアチブ)における実験の結果, 3次元画像の画質(fr\'echetインセプション距離の14.7改善)が有意に低いパラメータ(ベースライン法では48.5%)で改善されることが判明した。
結論: パラメータ効率の高い3次元医用画像生成モデルを構築した。
効率と有効性のため、実際のユースケースで高品質な3d脳と心臓画像を生成する可能性がある。
関連論文リスト
- IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality
3D Generation [96.32684334038278]
本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。
画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。
IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
論文 参考訳(メタデータ) (2024-02-13T18:59:51Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳(メタデータ) (2023-05-03T17:56:24Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳(メタデータ) (2023-03-15T08:28:06Z) - Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using
Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文 参考訳(メタデータ) (2023-02-02T15:37:46Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。
本手法は3次元画像にスライスを並べて超高分解能画像を生成する。
2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
論文 参考訳(メタデータ) (2022-05-05T09:59:03Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。
提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。
開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
論文 参考訳(メタデータ) (2020-06-06T09:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。