論文の概要: Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2403.04116v1
- Date: Thu, 7 Mar 2024 00:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 15:45:11.626230
- Title: Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis
- Title(参考訳): 効率的なX線新規合成のための放射型ガウス散乱
- Authors: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang,
Xiaokang Yang, Zongwei Zhou, Alan Yuille
- Abstract要約: 我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
- 参考スコア(独自算出の注目度): 92.69532644965663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: X-ray is widely applied for transmission imaging due to its stronger
penetration than natural light. When rendering novel view X-ray projections,
existing methods mainly based on NeRF suffer from long training time and slow
inference speed. In this paper, we propose a 3D Gaussian splatting-based
framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we
redesign a radiative Gaussian point cloud model inspired by the isotropic
nature of X-ray imaging. Our model excludes the influence of view direction
when learning to predict the radiation intensity of 3D points. Based on this
model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA
implementation. Secondly, we customize an Angle-pose Cuboid Uniform
Initialization (ACUI) strategy that directly uses the parameters of the X-ray
scanner to compute the camera information and then uniformly samples point
positions within a cuboid enclosing the scanned object. Experiments show that
our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying
less than 15% training time and over 73x inference speed. The application on
sparse-view CT reconstruction also reveals the practical values of our method.
Code and models will be publicly available at
https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training
process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .
- Abstract(参考訳): X線は自然光よりも強い透過性のために透過イメージングに広く応用されている。
新規なx線投影をレンダリングする際には、nerfを主とする既存の手法は長いトレーニング時間と遅い推論速度に苦しむ。
本稿では,x線新規ビュー合成のための3次元ガウス型スプレーティングベースフレームワーク,すなわちx-gaussianを提案する。
まず、X線イメージングの等方性に着想を得た放射型ガウス点雲モデルを再設計する。
本モデルでは,3次元点の放射強度を学習する際の視線方向の影響を除外する。
このモデルに基づき、cuda実装を用いた微分可能なラジエーティブラスタライズ(drr)を開発した。
次に,x線スキャナのパラメータを直接使用してカメラ情報を計算し,スキャン対象を囲む立方体内の点位置を一様にサンプリングするアングルポス立方体初期化(acui)戦略をカスタマイズする。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
Sparse-view CT 再構成への応用は,本手法の実用的価値も明らかにする。
コードとモデルはhttps://github.com/caiyuanhao1998/X-Gaussianで公開される。
トレーニングプロセスの視覚化のビデオデモはhttps://www.youtube.com/watch?
v=gDVf_Ngeghg。
関連論文リスト
- GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video [58.529031282445665]
GEAは3Dガウスに基づく高忠実度体と手を再現した表現力のある3Dアバターを作成する新しい方法である。
人体とポーズのきめ細かい制御を提供しながら、フォトリアリスティックなビュー合成における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-02-26T14:40:15Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳(メタデータ) (2023-12-25T09:47:33Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Artificial Intelligence for Automatic Detection and Classification
Disease on the X-Ray Images [0.0]
本研究では,Deep Learning Pre-trained RepVGGアルゴリズムを用いて肺疾患の迅速検出を行う。
我々は、人の肺の患部の自動ハイライト検出に人工知能技術を適用している。
論文 参考訳(メタデータ) (2022-11-14T03:51:12Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - End-To-End Convolutional Neural Network for 3D Reconstruction of Knee
Bones From Bi-Planar X-Ray Images [6.645111950779666]
両平面X線画像から直接膝骨を3次元再構成するためのエンドツーエンド畳み込みニューラルネットワーク(CNN)を提案する。
論文 参考訳(メタデータ) (2020-04-02T08:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。