論文の概要: Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances
- arxiv url: http://arxiv.org/abs/2405.13694v1
- Date: Wed, 22 May 2024 14:40:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 23:45:08.038736
- Title: Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances
- Title（参考訳）: Gaussian Time Machine: リアルタイムレンダリング手法
- Authors: Licheng Shen, Ho Ngai Chow, Lingyun Wang, Tong Zhang, Mengqiu Wang, Yuxing Han,
- Abstract要約: 軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。
GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
- 参考スコア（独自算出の注目度）: 10.614750331310804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in neural rendering techniques have significantly enhanced the fidelity of 3D reconstruction. Notably, the emergence of 3D Gaussian Splatting (3DGS) has marked a significant milestone by adopting a discrete scene representation, facilitating efficient training and real-time rendering. Several studies have successfully extended the real-time rendering capability of 3DGS to dynamic scenes. However, a challenge arises when training images are captured under vastly differing weather and lighting conditions. This scenario poses a challenge for 3DGS and its variants in achieving accurate reconstructions. Although NeRF-based methods (NeRF-W, CLNeRF) have shown promise in handling such challenging conditions, their computational demands hinder real-time rendering capabilities. In this paper, we present Gaussian Time Machine (GTM) which models the time-dependent attributes of Gaussian primitives with discrete time embedding vectors decoded by a lightweight Multi-Layer-Perceptron(MLP). By adjusting the opacity of Gaussian primitives, we can reconstruct visibility changes of objects. We further propose a decomposed color model for improved geometric consistency. GTM achieved state-of-the-art rendering fidelity on 3 datasets and is 100 times faster than NeRF-based counterparts in rendering. Moreover, GTM successfully disentangles the appearance changes and renders smooth appearance interpolation.
- Abstract（参考訳）: ニューラルレンダリング技術の最近の進歩は、3D再構成の忠実性を大幅に向上させた。
特に、3D Gaussian Splatting (3DGS)の出現は、離散的なシーン表現を採用し、効率的なトレーニングとリアルタイムレンダリングを促進することで、重要なマイルストーンとなった。
いくつかの研究は3DGSのリアルタイムレンダリング能力を動的シーンに拡張した。
しかし、異なる天候や照明条件下で訓練画像が撮影される場合、課題が生じる。
このシナリオは、3DGSとその変種が正確な再構築を達成する上での課題となる。
NeRFベースの手法(NeRF-W, CLNeRF)は、そのような困難な条件に対処する上で有望であるが、その計算要求はリアルタイムレンダリング能力を妨げている。
本稿では,Gaussian Time Machine(GTM)を提案する。これは,Gaussianプリミティブの時間依存属性を,軽量なMulti-Layer-Perceptron(MLP)で復号された離散時間埋め込みベクトルでモデル化する。
ガウス原始体の不透明度を調整することで、物体の可視性の変化を再構築することができる。
さらに、幾何整合性を改善するための分解色モデルを提案する。
GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
さらに、GTMは外観変化を解消し、滑らかな外観補間を行う。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。
我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
論文 参考訳（メタデータ） (2024-07-11T12:41:32Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳（メタデータ） (2023-09-22T16:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。