論文の概要: Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2403.04116v2
• Date: Mon, 8 Jul 2024 05:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:29:06.887686
• Title: Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis
• Title（参考訳）: 効率的なX線新規合成のための放射型ガウス散乱
• Authors: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille,
• Abstract要約: 我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。 実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
• 参考スコア（独自算出の注目度）: 88.86777314004044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code is publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .
• Abstract（参考訳）: X線は、自然光よりも強い透過性のため、透過イメージングに広く応用されている。 新しいビューX線投影を描画する場合、NeRFを主とする既存の手法は、長いトレーニング時間と遅い推論速度に悩まされる。 本稿では,X線ノベルビュー合成のための3次元ガウススティングに基づくフレームワーク,すなわちX-ガウスアンを提案する。 まず、X線イメージングの等方性に着想を得た放射型ガウス点雲モデルを再設計する。 本モデルでは,3次元点の放射強度を学習する際の視線方向の影響を除外する。 このモデルに基づいて、CUDA実装による微分可能放射ラスタライズ(DRR)を開発する。 次に、X線スキャナーのパラメータを直接利用してカメラ情報を計算し、スキャン対象を囲む立方体内の点位置を均一にサンプリングするアングル型立方体初期化(ACUI)戦略をカスタマイズする。 実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。 Sparse-view CT 再構成への応用は,本手法の実用的価値も明らかにする。 コードはhttps://github.com/caiyuanhao1998/X-Gaussianで公開されている。 トレーニングプロセスの視覚化のビデオデモはhttps://www.youtube.com/watch? v=gDVf_Ngeghg。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• Multi-view X-ray Image Synthesis with Multiple Domain Disentanglement from CT Scans [10.72672892416061]
  過剰投与されたX線は、ある程度人間の健康への潜在的なリスクを重畳する。 ボリュームスキャンからX線画像へのデータ駆動アルゴリズムは、ペア化されたX線とボリュームデータの不足によって制限される。 我々は,3つの異なる画像領域からのコンテンツとスタイルのゆがみを利用して,X線画像をエンドツーエンドに合成するCT2X-GANを提案する。
  論文  参考訳（メタデータ） (2024-04-18T04:25:56Z)
• OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting [27.543561055868697]
  現在の3次元ガウス散乱システムは、歪みのない視点画像を用いた放射場再構成しかサポートしていない。 高速な放射野再構成のための全方位画像を利用するため,新しい全方位撮影システムであるOmniGSを提案する。
  論文  参考訳（メタデータ） (2024-04-04T05:10:26Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
  Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。 近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。 スパース・ビューCT再建の可能性について検討した。
  論文  参考訳（メタデータ） (2023-12-25T09:47:33Z)
• End-To-End Convolutional Neural Network for 3D Reconstruction of Knee Bones From Bi-Planar X-Ray Images [6.645111950779666]
  両平面X線画像から直接膝骨を3次元再構成するためのエンドツーエンド畳み込みニューラルネットワーク(CNN)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T08:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。