論文の概要: SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud
Up-sampling from a Single Image
- arxiv url: http://arxiv.org/abs/2305.12646v1
- Date: Mon, 22 May 2023 02:42:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 18:56:33.538415
- Title: SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud
Up-sampling from a Single Image
- Title(参考訳): SG-GAN: 単一画像からの3次元脳点雲アップサンプリングのための微細立体認識生成
- Authors: Bowen Hu, Baiying Lei, Shuqiang Wang
- Abstract要約: 高密度脳点雲を生成するために,SG-GANと呼ばれる新しいモデルを提案する。
このモデルは、視覚的品質、客観的測定、および分類における性能の点で優れた性能を示す。
- 参考スコア(独自算出の注目度): 18.30982492742905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In minimally-invasive brain surgeries with indirect and narrow operating
environments, 3D brain reconstruction is crucial. However, as requirements of
accuracy for some new minimally-invasive surgeries (such as brain-computer
interface surgery) are higher and higher, the outputs of conventional 3D
reconstruction, such as point cloud (PC), are facing the challenges that sample
points are too sparse and the precision is insufficient. On the other hand,
there is a scarcity of high-density point cloud datasets, which makes it
challenging to train models for direct reconstruction of high-density brain
point clouds. In this work, a novel model named stereoscopic-aware graph
generative adversarial network (SG-GAN) with two stages is proposed to generate
fine high-density PC conditioned on a single image. The Stage-I GAN sketches
the primitive shape and basic structure of the organ based on the given image,
yielding Stage-I point clouds. The Stage-II GAN takes the results from Stage-I
and generates high-density point clouds with detailed features. The Stage-II
GAN is capable of correcting defects and restoring the detailed features of the
region of interest (ROI) through the up-sampling process. Furthermore, a
parameter-free-attention-based free-transforming module is developed to learn
the efficient features of input, while upholding a promising performance.
Comparing with the existing methods, the SG-GAN model shows superior
performance in terms of visual quality, objective measurements, and performance
in classification, as demonstrated by comprehensive results measured by several
evaluation metrics including PC-to-PC error and Chamfer distance.
- Abstract(参考訳): 間接的および狭い手術環境を有する低侵襲脳外科手術では,3次元脳再建が重要である。
しかし,脳-コンピューターインタフェース手術などの新しい外科手術の精度の要件が高まるにつれて,従来型の3dリコンストラクションのアウトプションであるポイントクラウド(pc)は,サンプルポイントが不足し,精度が不足しているという課題に直面している。
一方で、高密度の点雲データセットが不足しているため、高密度の点雲を直接再構築するためのモデルをトレーニングすることは困難である。
そこで本研究では,2段階のsg-gan(ステレオ・アウェアグラフ生成逆ネットワーク)という新しいモデルを提案し,1つの画像上に微細な高密度pcを生成する。
ステージI GANは、与えられた画像に基づいて、臓器の原始的な形状と基本構造をスケッチし、ステージIの点雲を生成する。
Stage-II GANはStage-Iの結果を受け取り、詳細な特徴を持つ高密度の点雲を生成する。
Stage-II GANは、アップサンプリングプロセスを通じて欠陥を修正し、関心領域(ROI)の詳細な特徴を復元することができる。
さらに、パラメータフリーアテンションに基づく自由変換モジュールを開発し、有望な性能を維持しつつ、入力の効率的な特徴を学習する。
既存の手法と比較すると,sg-ganモデルは,pc-pc間誤差やシャンファー距離などの評価指標を総合的に測定し,視覚品質,客観的測定,分類性能において優れた性能を示す。
関連論文リスト
- DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。
事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。
本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
論文 参考訳(メタデータ) (2024-07-02T09:33:32Z) - Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。
本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
論文 参考訳(メタデータ) (2024-03-21T10:38:18Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2023-03-28T08:21:44Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - 3D Brain Reconstruction by Hierarchical Shape-Perception Network from a
Single Incomplete Image [20.133967825823312]
特定の脳の3次元点雲(PC)を再構成するために,新しい階層型形状知覚ネットワーク(HSPN)を提案する。
提案したHSPNでは、3次元形状知覚と完成が自然に達成される。
論文 参考訳(メタデータ) (2021-07-23T03:20:42Z) - A Point Cloud Generative Model via Tree-Structured Graph Convolutions
for 3D Brain Shape Reconstruction [31.436531681473753]
センサスキャンなどの物理的手法を用いて,術中3次元形状情報を得ることはほとんど不可能である。
本稿では,1つの2次元画像を用いて脳の3次元点雲(PC)を再構成するGANアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-07-21T07:57:37Z) - Hierarchical Amortized Training for Memory-efficient High Resolution 3D
GAN [52.851990439671475]
本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。
トレーニングと推論の異なる構成を使用することで、この目標を達成する。
3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
論文 参考訳(メタデータ) (2020-08-05T02:33:04Z) - Attention-Guided Version of 2D UNet for Automatic Brain Tumor
Segmentation [2.371982686172067]
グリオーマは脳腫瘍の中でも最も一般的で攻撃的であり、高い成績で寿命が短くなる。
深層畳み込みニューラルネットワーク(DCNN)は脳腫瘍のセグメンテーションにおいて顕著な性能を発揮している。
しかし, グリオーマの強度や外観に変化があるため, この課題は依然として困難である。
論文 参考訳(メタデータ) (2020-04-04T20:09:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。