論文の概要: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical Images

• arxiv url: http://arxiv.org/abs/2208.03934v1
• Date: Mon, 8 Aug 2022 06:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 14:01:25.241521
• Title: Inflating 2D Convolution Weights for Efficient Generation of 3D Medical Images
• Title（参考訳）: 3次元医用画像の効率的な生成のための2次元畳み込み重み付け
• Authors: Yanbin Liu, Girish Dwivedi, Farid Boussaid, Frank Sanfilippo, Makoto Yamada, and Mohammed Bennamoun
• Abstract要約: 3Dの医療画像は、取得と注釈をするのに非常に高価である。 多数のパラメータが3D畳み込みに関与している。 3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。
• 参考スコア（独自算出の注目度）: 38.129446511826956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generation of three-dimensional (3D) medical images can have great application potential since it takes into account the 3D anatomical structure. There are two problems, however, that prevent effective training of a 3D medical generative model: (1) 3D medical images are very expensive to acquire and annotate, resulting in an insufficient number of training images, (2) a large number of parameters are involved in 3D convolution. To address both problems, we propose a novel GAN model called 3D Split&Shuffle-GAN. In order to address the 3D data scarcity issue, we first pre-train a two-dimensional (2D) GAN model using abundant image slices and inflate the 2D convolution weights to improve initialization of the 3D GAN. Novel 3D network architectures are proposed for both the generator and discriminator of the GAN model to significantly reduce the number of parameters while maintaining the quality of image generation. A number of weight inflation strategies and parameter-efficient 3D architectures are investigated. Experiments on both heart (Stanford AIMI Coronary Calcium) and brain (Alzheimer's Disease Neuroimaging Initiative) datasets demonstrate that the proposed approach leads to improved 3D images generation quality with significantly fewer parameters.
• Abstract（参考訳）: 3次元(3次元)の医用画像の生成は、3次元解剖学的構造を考慮に入れるため、大きな応用可能性を持つ。 しかし,(1)3次元医用画像の取得や注釈作成に非常に費用がかかるため,訓練画像が不十分であること,(2)3次元畳み込みに多くのパラメータが関与していること,の2つの問題点がある。 両問題を解決するため、3D Split&Shuffle-GANと呼ばれる新しいGANモデルを提案する。 3Dデータ不足問題に対処するため、我々はまず、豊富な画像スライスを用いて2次元(2D)のGANモデルを事前訓練し、2次元の畳み込み重みを拡大し、3D GANの初期化を改善する。 GANモデルのジェネレータと識別器の両方に新しい3Dネットワークアーキテクチャを提案し、画像生成の品質を維持しながらパラメータ数を著しく削減する。 重み付け戦略とパラメータ効率のよい3Dアーキテクチャについて検討した。 心臓(スタンフォードAIMI冠状カルシウム)と脳(アルツハイマー病神経イメージングイニシアチブ)の両方の実験では、提案されたアプローチが、パラメータが大幅に少ない3D画像の生成品質を改善することが示されている。

関連論文リスト

• Zero-1-to-G: Taming Pretrained 2D Diffusion Model for Direct 3D Generation [66.75243908044538]
  我々は,事前学習した2次元拡散モデルを用いたガウススプラット上での3次元直接生成手法であるZero-1-to-Gを導入する。 3D認識を取り入れるために,複雑な相関関係を捉え,生成されたスプラット間の3D一貫性を強制する,クロスビュー層とクロスアトリビュートアテンション層を導入する。 これにより、Zero-1-to-Gは、事前訓練された2D拡散前処理を効果的に活用する最初の直接画像から3D生成モデルとなり、効率的なトレーニングと未確認物体への一般化が実現された。
  論文  参考訳（メタデータ） (2025-01-09T18:37:35Z)
• E3D-GPT: Enhanced 3D Visual Foundation for Medical Vision-Language Model [23.56751925900571]
  3次元医用視覚言語モデルの開発は、疾患の診断と患者の治療に有意な可能性を秘めている。 自己教師付き学習を用いて3次元視覚特徴抽出のための3次元視覚基盤モデルを構築した。 本研究では,3次元空間畳み込みを高精細画像の特徴の集約・投影に応用し,計算複雑性を低減した。 本モデルは,既存の報告生成法,視覚的質問応答法,疾患診断法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-18T06:31:40Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation [96.32684334038278]
  本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。 画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。 IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
  論文  参考訳（メタデータ） (2024-02-13T18:59:51Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
  トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。 本手法は3次元画像にスライスを並べて超高分解能画像を生成する。 2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
  論文  参考訳（メタデータ） (2022-05-05T09:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。