論文の概要: SLS4D: Sparse Latent Space for 4D Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2312.09743v1
- Date: Fri, 15 Dec 2023 12:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 15:50:06.956408
- Title: SLS4D: Sparse Latent Space for 4D Novel View Synthesis
- Title(参考訳): SLS4D:4次元新しいビュー合成のためのスパース潜在空間
- Authors: Qi-Yuan Feng, Hao-Xiang Chen, Qun-Ce Xu, Tai-Jiang Mu
- Abstract要約: 既存の動的NeRFは通常、変形場に合うように局所的な密度の格子を利用する。
4次元空間は本質的にスパースである。
学習可能なスパース潜在空間(SLS4D)を用いて4次元シーンを表現することを提案する。
- 参考スコア(独自算出の注目度): 13.73892118198658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance field (NeRF) has achieved great success in novel view
synthesis and 3D representation for static scenarios. Existing dynamic NeRFs
usually exploit a locally dense grid to fit the deformation field; however,
they fail to capture the global dynamics and concomitantly yield models of
heavy parameters. We observe that the 4D space is inherently sparse. Firstly,
the deformation field is sparse in spatial but dense in temporal due to the
continuity of of motion. Secondly, the radiance field is only valid on the
surface of the underlying scene, usually occupying a small fraction of the
whole space. We thus propose to represent the 4D scene using a learnable sparse
latent space, a.k.a. SLS4D. Specifically, SLS4D first uses dense learnable time
slot features to depict the temporal space, from which the deformation field is
fitted with linear multi-layer perceptions (MLP) to predict the displacement of
a 3D position at any time. It then learns the spatial features of a 3D position
using another sparse latent space. This is achieved by learning the adaptive
weights of each latent code with the attention mechanism. Extensive experiments
demonstrate the effectiveness of our SLS4D: it achieves the best 4D novel view
synthesis using only about $6\%$ parameters of the most recent work.
- Abstract(参考訳): neural radiance field(nerf)は、静的シナリオのための新しいビュー合成と3d表現で大きな成功を収めている。
既存の動的nerfは通常、局所的に密集した格子を利用して変形場に適合するが、大域的なダイナミクスを捉えられず、重パラメータのモデルも同時生成する。
4次元空間は本質的に疎弱である。
第一に、変形場は、運動の連続性により空間的にスパースであるが時間的に密度が高い。
第二に、放射場は基礎となるシーンの表面でのみ有効であり、通常は空間全体のごく一部を占める。
そこで我々は,学習可能なスパース潜在空間,すなわちSLS4Dを用いて4次元シーンを表現することを提案する。
具体的には、SLS4Dは、まず高密度な学習可能な時間スロット特徴を用いて時間空間を描写し、そこから変形場に線形多層知覚(MLP)を取り付けて、いつでも3D位置の変位を予測する。
その後、別の疎潜在空間を用いて3d位置の空間的特徴を学ぶ。
これは各潜在コードの適応重みを注意機構で学習することで達成される。
SLS4Dの有効性を実証し、最新の作品の約6.5%のパラメータで最高の4Dノベルビュー合成を実現する。
関連論文リスト
- 4D Gaussian Splatting: Towards Efficient Novel View Synthesis for
Dynamic Scenes [35.115901298045316]
異方性4D XYZTガウスの動的シーンを表現する新しい手法である4D Gaussian Splatting (4DGS)を紹介した。
動的3次元ガウスを自然に構成する4次元ガウスを時間的にスライスすることで、各タイムスタンプのダイナミクスをモデル化する。
空間的時間的表現として、4DGSは複雑な詳細、特に急激な動きのあるシーンをモデル化する強力な能力を示す。
論文 参考訳(メタデータ) (2024-02-05T18:59:04Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [59.32318797882129]
本研究では,4次元ガウス分割表現に基づく効率的な4次元生成フレームワークであるDreamGaussian4Dを紹介する。
我々の重要な洞察は、ガウススプラッティングにおける空間変換の明示的なモデリングが、4次元生成設定により適しているということである。
DreamGaussian4Dは最適化時間を数時間から数分に短縮し、生成された3Dモーションの柔軟な制御を可能にし、3Dエンジンで効率的にレンダリングできるアニメーションメッシュを生成する。
論文 参考訳(メタデータ) (2023-12-28T17:16:44Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳(メタデータ) (2023-12-21T11:41:02Z) - UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale
Scene [52.21184153832739]
本研究では,大規模シーンのリアルタイムレンダリングに特化して設計されたUE4-NeRFと呼ばれるニューラルレンダリングシステムを提案する。
提案手法は,Unreal Engine 4 (UE4)のUnrealization Pipelineと組み合わせて,最大43FPSのフレームレートで4K解像度で大規模シーンのリアルタイムレンダリングを実現する。
論文 参考訳(メタデータ) (2023-10-20T04:01:35Z) - Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic
Reconstruction and Rendering [31.928844354349117]
動的シーンに対する効率的な4次元テンソル分解法を提案する。
本手法は,スパースビューカメラや単眼カメラから高品質な動的再構成とレンダリングを実現することができることを示す。
コードとデータセットはatliuyebin.com/tensor4d-tensor4d.htmlでリリースされる。
論文 参考訳(メタデータ) (2022-11-21T16:04:45Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳(メタデータ) (2022-10-28T07:11:05Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-08-18T03:49:44Z) - V4D: Voxel for 4D Novel View Synthesis [23.713080194908745]
本稿では,V4Dと略される3次元ボクセルによる4次元神経放射場をモデル化する手法を提案する。
提案したLUTsベースの改良モジュールは,計算コストの少ない性能向上を実現する。
計算負荷を無視して性能向上を実現する4次元データに対して,より効率的な条件付き位置符号化を提案する。
論文 参考訳(メタデータ) (2022-05-28T04:45:07Z) - 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。
ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
論文 参考訳(メタデータ) (2021-05-05T07:39:12Z) - Parameter-Efficient Person Re-identification in the 3D Space [51.092669618679615]
我々は3次元空間に2D画像を投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3次元点雲から直接歩行者表現を学習する。
OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。
私たちは3D空間における人物の再識別を行う最初の試みの1つです。
論文 参考訳(メタデータ) (2020-06-08T13:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。