論文の概要: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical
Images
- arxiv url: http://arxiv.org/abs/2208.03934v1
- Date: Mon, 8 Aug 2022 06:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 14:01:25.241521
- Title: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical
Images
- Title(参考訳): 3次元医用画像の効率的な生成のための2次元畳み込み重み付け
- Authors: Yanbin Liu, Girish Dwivedi, Farid Boussaid, Frank Sanfilippo, Makoto
Yamada, and Mohammed Bennamoun
- Abstract要約: 3Dの医療画像は、取得と注釈をするのに非常に高価である。
多数のパラメータが3D畳み込みに関与している。
3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。
- 参考スコア(独自算出の注目度): 38.129446511826956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generation of three-dimensional (3D) medical images can have great
application potential since it takes into account the 3D anatomical structure.
There are two problems, however, that prevent effective training of a 3D
medical generative model: (1) 3D medical images are very expensive to acquire
and annotate, resulting in an insufficient number of training images, (2) a
large number of parameters are involved in 3D convolution. To address both
problems, we propose a novel GAN model called 3D Split&Shuffle-GAN. In order to
address the 3D data scarcity issue, we first pre-train a two-dimensional (2D)
GAN model using abundant image slices and inflate the 2D convolution weights to
improve initialization of the 3D GAN. Novel 3D network architectures are
proposed for both the generator and discriminator of the GAN model to
significantly reduce the number of parameters while maintaining the quality of
image generation. A number of weight inflation strategies and
parameter-efficient 3D architectures are investigated. Experiments on both
heart (Stanford AIMI Coronary Calcium) and brain (Alzheimer's Disease
Neuroimaging Initiative) datasets demonstrate that the proposed approach leads
to improved 3D images generation quality with significantly fewer parameters.
- Abstract(参考訳): 3次元(3次元)の医用画像の生成は、3次元解剖学的構造を考慮に入れるため、大きな応用可能性を持つ。
しかし,(1)3次元医用画像の取得や注釈作成に非常に費用がかかるため,訓練画像が不十分であること,(2)3次元畳み込みに多くのパラメータが関与していること,の2つの問題点がある。
両問題を解決するため、3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。
3Dデータ不足問題に対処するため、我々はまず、豊富な画像スライスを用いて2次元(2D)のGANモデルを事前訓練し、2次元の畳み込み重みを拡大し、3D GANの初期化を改善する。
GANモデルのジェネレータと識別器の両方に新しい3Dネットワークアーキテクチャを提案し、画像生成の品質を維持しながらパラメータ数を著しく削減する。
重み付け戦略とパラメータ効率のよい3Dアーキテクチャについて検討した。
心臓(スタンフォードAIMI冠状カルシウム)と脳(アルツハイマー病神経イメージングイニシアチブ)の両方の実験では、提案されたアプローチが、パラメータが大幅に少ない3D画像の生成品質を改善することが示されている。
関連論文リスト
- IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality
3D Generation [96.32684334038278]
本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。
画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。
IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
論文 参考訳(メタデータ) (2024-02-13T18:59:51Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳(メタデータ) (2023-05-03T17:56:24Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳(メタデータ) (2023-03-15T08:28:06Z) - Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using
Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文 参考訳(メタデータ) (2023-02-02T15:37:46Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。
本手法は3次元画像にスライスを並べて超高分解能画像を生成する。
2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
論文 参考訳(メタデータ) (2022-05-05T09:59:03Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。
提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。
開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
論文 参考訳(メタデータ) (2020-06-06T09:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。