論文の概要: GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2312.11458v1
• Date: Mon, 18 Dec 2023 18:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 18:57:33.112608
• Title: GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis
• Title（参考訳）: GauFRe: リアルタイム動的新規ビュー合成のためのガウス変形場
• Authors: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao
• Abstract要約: 変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。 我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
• 参考スコア（独自算出の注目度）: 17.572987038801475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html
• Abstract（参考訳）: モノクロ映像に適した変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 ガウススプラッティングの効率性に基づいて,本手法は多層パーセプトロン (MLP) によって定義される時間依存変形場と標準空間に居住するガウスの変形可能な集合を通して,動的要素に対応するための表現を拡張する。 さらに、ほとんどの自然シーンが静的に残る大きな領域を持つという仮定の下で、mlpは静的ガウス点クラウドを含むことにより、その表現力に集中することができる。 連結された動的および静的な点雲はガウススプラッティングラスタライザの入力を形成し、リアルタイムレンダリングを可能にする。 差別化可能なパイプラインは、セルフ教師付きレンダリング損失でエンドツーエンドに最適化されている。 本手法は,最先端の動的ニューラルネットワークラミアンスフィールド法に匹敵する結果を得るとともに,より高速な最適化とレンダリングを実現する。 プロジェクトwebサイト: https://lynl7130.github.io/gaufre/index.html

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
  本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。 現実の動的スペキュラシーンを合成できる唯一の3DGS法であり、複雑な、動的、およびスペキュラシーンのレンダリングにおける最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
  高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。 学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。 提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2023-12-06T11:25:52Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos [63.16888987770885]
  本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。 線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。 提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。