論文の概要: TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering
- arxiv url: http://arxiv.org/abs/2403.19586v2
- Date: Sun, 8 Sep 2024 06:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 03:02:27.804797
- Title: TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering
- Title(参考訳): TOGS: リアルタイム4D DSAレンダリングのための時空間オフセット付きガウス撮影
- Authors: Shuai Zhang, Huangxuan Zhao, Zhenghong Zhou, Guanjun Wu, Chuansheng Zheng, Xinggang Wang, Wenyu Liu,
- Abstract要約: 4次元デジタルサブトラクション血管造影(4D DSA)は、血管を充填するコントラスト剤の過程で異なる段階と角度で撮影される一連の2D画像を提供する医用イメージング技術である。
現在の手法では、スパースビューではレンダリング品質が不十分であり、レンダリング速度の遅さに悩まされている。
本研究では、4D DSAのレンダリング品質と速度を効果的に向上できる不透明オフセットを持つガウス分割法TOGSを提案する。
- 参考スコア(独自算出の注目度): 32.390963495437184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Four-dimensional Digital Subtraction Angiography (4D DSA) is a medical imaging technique that provides a series of 2D images captured at different stages and angles during the process of contrast agent filling blood vessels. It plays a significant role in the diagnosis of cerebrovascular diseases. Improving the rendering quality and speed under sparse sampling is important for observing the status and location of lesions. The current methods exhibit inadequate rendering quality in sparse views and suffer from slow rendering speed. To overcome these limitations, we propose TOGS, a Gaussian splatting method with opacity offset over time, which can effectively improve the rendering quality and speed of 4D DSA. We introduce an opacity offset table for each Gaussian to model the opacity offsets of the Gaussian, using these opacity-varying Gaussians to model the temporal variations in the radiance of the contrast agent. By interpolating the opacity offset table, the opacity variation of the Gaussian at different time points can be determined. This enables us to render the 2D DSA image at that specific moment. Additionally, we introduced a Smooth loss term in the loss function to mitigate overfitting issues that may arise in the model when dealing with sparse view scenarios. During the training phase, we randomly prune Gaussians, thereby reducing the storage overhead of the model. The experimental results demonstrate that compared to previous methods, this model achieves state-of-the-art render quality under the same number of training views. Additionally, it enables real-time rendering while maintaining low storage overhead. The code is available at https://github.com/hustvl/TOGS.
- Abstract(参考訳): 4次元デジタルサブトラクション血管造影(4D DSA)は、血管を充填するコントラスト剤の過程で異なる段階と角度で撮影される一連の2D画像を提供する医用イメージング技術である。
脳血管疾患の診断において重要な役割を担っている。
スパースサンプリングにおけるレンダリング品質と速度の向上は,病変の状態と位置を観察する上で重要である。
現在の手法では、スパースビューではレンダリング品質が不十分であり、レンダリング速度の遅さに悩まされている。
これらの制約を克服するために,時間とともに不透明なオフセットを持つガウス分割法であるTOGSを提案し,これにより、4D DSAのレンダリング品質と速度を効果的に向上させることができる。
両ガウスアンに対して不透明オフセットテーブルを導入し、ガウスアンの不透明オフセットをモデル化し、これらの不透明なガウスアンを用いてコントラスト剤の放射率の時間的変動をモデル化する。
不透明オフセットテーブルを補間することにより、異なる時点におけるガウスの不透明変動を決定することができる。
これにより、2D DSA画像をその特定の瞬間にレンダリングすることができます。
さらに、損失関数にスムース損失項を導入し、スパースビューのシナリオを扱う際にモデルに生じるような過度な問題を軽減する。
トレーニングフェーズでは,ランダムにガウスをプルーし,モデルの保存オーバーヘッドを低減する。
実験の結果, 従来の手法と比較して, 同数のトレーニングビューで最先端のレンダリング品質が得られることがわかった。
さらに、ストレージオーバーヘッドを低く保ちながらリアルタイムレンダリングを可能にする。
コードはhttps://github.com/hustvl/TOGS.comで公開されている。
関連論文リスト
- Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances [10.614750331310804]
軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。
GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
論文 参考訳(メタデータ) (2024-05-22T14:40:42Z) - 3D Vessel Reconstruction from Sparse-View Dynamic DSA Images via Vessel Probability Guided Attenuation Learning [79.60829508459753]
現在の商用デジタルサブトラクション・アンジオグラフィー(DSA)システムは通常、再構築を行うために数百のスキャンビューを要求する。
スパース・ビューDSA画像のダイナミックな血流と不十分な入力は,3次元血管再建作業において重要な課題である。
本稿では,時間に依存しない容器確率場を用いてこの問題を効果的に解くことを提案する。
論文 参考訳(メタデータ) (2024-05-17T11:23:33Z) - LighTDiff: Surgical Endoscopic Image Low-Light Enhancement with T-Diffusion [23.729378821117123]
Denoising Diffusion Probabilistic Model (DDPM) は、医療分野での低照度画像強調を約束する。
DDPMは計算的に要求され、遅いため、医療応用は制限されている。
我々はLighTDiffと呼ばれる軽量DDPMを提案し、低解像度画像を用いてグローバルな構造情報をキャプチャする。
論文 参考訳(メタデータ) (2024-05-17T05:31:19Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T09:20:29Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳(メタデータ) (2024-03-18T14:43:04Z) - Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis [88.86777314004044]
我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
論文 参考訳(メタデータ) (2024-03-07T00:12:08Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。