論文の概要: TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering
- arxiv url: http://arxiv.org/abs/2403.19586v1
- Date: Thu, 28 Mar 2024 17:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:24:55.260408
- Title: TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering
- Title（参考訳）: TOGS: リアルタイム4D DSAレンダリングのための時空間オフセット付きガウス撮影
- Authors: Shuai Zhang, Huangxuan Zhao, Zhenghong Zhou, Guanjun Wu, Chuansheng Zheng, Xinggang Wang, Wenyu Liu,
- Abstract要約: 4次元デジタルサブトラクション血管造影(4D DSA)は、血管を充填するコントラスト剤の過程で異なる段階と角度で撮影される一連の2D画像を提供する医用イメージング技術である。
現在の手法では、スパースビューではレンダリング品質が不十分であり、レンダリング速度の遅さに悩まされている。
これらの制約を克服するために、時間とともに不透明なオフセットを持つガウススプラッティング法TOGSを提案する。
- 参考スコア（独自算出の注目度）: 32.390963495437184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Four-dimensional Digital Subtraction Angiography (4D DSA) is a medical imaging technique that provides a series of 2D images captured at different stages and angles during the process of contrast agent filling blood vessels. It plays a significant role in the diagnosis of cerebrovascular diseases. Improving the rendering quality and speed under sparse sampling is important for observing the status and location of lesions. The current methods exhibit inadequate rendering quality in sparse views and suffer from slow rendering speed. To overcome these limitations, we propose TOGS, a Gaussian splatting method with opacity offset over time, which can effectively improve the rendering quality and speed of 4D DSA. We introduce an opacity offset table for each Gaussian to model the temporal variations in the radiance of the contrast agent. By interpolating the opacity offset table, the opacity variation of the Gaussian at different time points can be determined. This enables us to render the 2D DSA image at that specific moment. Additionally, we introduced a Smooth loss term in the loss function to mitigate overfitting issues that may arise in the model when dealing with sparse view scenarios. During the training phase, we randomly prune Gaussians, thereby reducing the storage overhead of the model. The experimental results demonstrate that compared to previous methods, this model achieves state-of-the-art reconstruction quality under the same number of training views. Additionally, it enables real-time rendering while maintaining low storage overhead. The code will be publicly available.
- Abstract（参考訳）: 4次元デジタルサブトラクション血管造影(4D DSA)は、血管を充填するコントラスト剤の過程で異なる段階と角度で撮影される一連の2D画像を提供する医用イメージング技術である。
脳血管疾患の診断において重要な役割を担っている。
スパースサンプリングにおけるレンダリング品質と速度の向上は,病変の状態と位置を観察する上で重要である。
現在の手法では、スパースビューではレンダリング品質が不十分であり、レンダリング速度の遅さに悩まされている。
これらの制約を克服するために,時間とともに不透明なオフセットを持つガウス分割法であるTOGSを提案し,これにより、4D DSAのレンダリング品質と速度を効果的に向上させることができる。
コントラスト剤の放射率の時間変動をモデル化するために,ガウス毎に不透明オフセットテーブルを導入する。
不透明オフセットテーブルを補間することにより、異なる時点におけるガウスの不透明変動を決定することができる。
これにより、2D DSA画像をその特定の瞬間にレンダリングすることができます。
さらに、損失関数にスムース損失項を導入し、スパースビューのシナリオを扱う際にモデルに生じるような過度な問題を軽減する。
トレーニングフェーズでは,ランダムにガウスをプルーし,モデルの保存オーバーヘッドを低減する。
実験結果から, 従来の手法と比較して, 同数のトレーニングビューにおいて, 最先端の再現性が得られることが示された。
さらに、ストレージオーバーヘッドを低く保ちながらリアルタイムレンダリングを可能にする。
コードは公開されます。
関連論文リスト
- RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis [3.4341938551046227]
微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。
不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。
適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
論文 参考訳（メタデータ） (2024-08-06T10:59:58Z) - Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances [10.614750331310804]
軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。
GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
論文 参考訳（メタデータ） (2024-05-22T14:40:42Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文 参考訳（メタデータ） (2024-04-12T13:00:06Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:20:29Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis [88.86777314004044]
我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
論文 参考訳（メタデータ） (2024-03-07T00:12:08Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。