論文の概要: GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2312.11458v1
• Date: Mon, 18 Dec 2023 18:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 18:57:33.112608
• Title: GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis
• Title（参考訳）: GauFRe: リアルタイム動的新規ビュー合成のためのガウス変形場
• Authors: Yiqing Liang, Numair Khan, Zhengqin Li, Thu Nguyen-Phuoc, Douglas Lanman, James Tompkin, Lei Xiao
• Abstract要約: 変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。 我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
• 参考スコア（独自算出の注目度）: 17.572987038801475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html
• Abstract（参考訳）: モノクロ映像に適した変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 ガウススプラッティングの効率性に基づいて,本手法は多層パーセプトロン (MLP) によって定義される時間依存変形場と標準空間に居住するガウスの変形可能な集合を通して,動的要素に対応するための表現を拡張する。 さらに、ほとんどの自然シーンが静的に残る大きな領域を持つという仮定の下で、mlpは静的ガウス点クラウドを含むことにより、その表現力に集中することができる。 連結された動的および静的な点雲はガウススプラッティングラスタライザの入力を形成し、リアルタイムレンダリングを可能にする。 差別化可能なパイプラインは、セルフ教師付きレンダリング損失でエンドツーエンドに最適化されている。 本手法は,最先端の動的ニューラルネットワークラミアンスフィールド法に匹敵する結果を得るとともに,より高速な最適化とレンダリングを実現する。 プロジェクトwebサイト: https://lynl7130.github.io/gaufre/index.html

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis [3.4341938551046227]
  微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。 不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。 適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-08-06T10:59:58Z)
• Gaussian Splatting LK [0.11249583407496218]
  本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。 フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。 このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-16T01:50:43Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
  我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。 我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。 我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
  論文  参考訳（メタデータ） (2023-12-20T03:54:03Z)
• Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
  高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。 学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。 提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2023-12-06T11:25:52Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。