論文の概要: Seeing World Dynamics in a Nutshell

• arxiv url: http://arxiv.org/abs/2502.03465v1
• Date: Wed, 05 Feb 2025 18:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:08.298537
• Title: Seeing World Dynamics in a Nutshell
• Title（参考訳）: ナットシェルで世界ダイナミクスを見る
• Authors: Qiuhong Shen, Xuanyu Yi, Mingbao Lin, Hanwang Zhang, Shuicheng Yan, Xinchao Wang,
• Abstract要約: NutWorldはモノクロ動画をダイナミックな3D表現に変換するフレームワークである。 我々は,NutWorldがリアルタイムにダウンストリームアプリケーションを実現しつつ,高忠実度ビデオ再構成品質を実現することを実証した。
• 参考スコア（独自算出の注目度）: 132.79736435144403
• License:
• Abstract: We consider the problem of efficiently representing casually captured monocular videos in a spatially- and temporally-coherent manner. While existing approaches predominantly rely on 2D/2.5D techniques treating videos as collections of spatiotemporal pixels, they struggle with complex motions, occlusions, and geometric consistency due to absence of temporal coherence and explicit 3D structure. Drawing inspiration from monocular video as a projection of the dynamic 3D world, we explore representing videos in their intrinsic 3D form through continuous flows of Gaussian primitives in space-time. In this paper, we propose NutWorld, a novel framework that efficiently transforms monocular videos into dynamic 3D Gaussian representations in a single forward pass. At its core, NutWorld introduces a structured spatial-temporal aligned Gaussian (STAG) representation, enabling optimization-free scene modeling with effective depth and flow regularization. Through comprehensive experiments, we demonstrate that NutWorld achieves high-fidelity video reconstruction quality while enabling various downstream applications in real-time. Demos and code will be available at https://github.com/Nut-World/NutWorld.
• Abstract（参考訳）: 本研究では, カジュアルにキャプチャされたモノクロ映像を空間的に, 時間的に一貫した方法で効率よく表現する問題について考察する。 既存のアプローチは、ビデオを時空間画素の集合として扱う2D/2.5D技術に大きく依存しているが、時間的コヒーレンスや明示的な3D構造が欠如しているため、複雑な動き、閉塞、幾何学的一貫性に苦慮している。 動的3次元世界の投影としてモノクロ映像からインスピレーションを得て,時空におけるガウス原始体の連続的な流れを通して,その内在的な3次元映像の表現を探索する。 本稿では,モノクロ映像を動的3次元ガウス表現に効率よく変換する新しいフレームワークNutWorldを提案する。 NutWorldの中核となるのは、構造化時空間整列ガウス(STAG)表現を導入し、効果的な深さと流れの正規化による最適化のないシーンモデリングを可能にする。 包括的実験により,NutWorldはリアルタイムに様々なダウンストリームアプリケーションを実現するとともに,高忠実度ビデオ再構成品質を実現することを実証した。 デモとコードはhttps://github.com/Nut-World/NutWorld.comで公開される。

関連論文リスト

• SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video [26.468480933928458]
  高品質な再構成とモノクロビデオからの高速レンダリングを実現するために,COLMAPフリーな動的3DガウススティングフレームワークであるSplineGSを提案する。 中心となるのは、連続的な動的3次元ガウス軌道を表す新しい動き適応スプライン(MAS)法である。 カメラパラメータ推定と3次元ガウス属性の同時最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-13T09:09:14Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
  本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。 提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。 本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
  論文  参考訳（メタデータ） (2024-06-29T08:33:55Z)
• Guess The Unseen: Dynamic 3D Scene Reconstruction from Partial 2D Glimpses [9.529416246409355]
  本研究では,モノクロ映像から世界と複数の動的人間を3次元に再構成する手法を提案する。 キーとなるアイデアとして、最近出現した3Dガウススプラッティング(3D-GS)表現を通じて、世界と複数の人間の両方を表現します。
  論文  参考訳（メタデータ） (2024-04-22T17:59:50Z)
• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
  動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。 具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
  論文  参考訳（メタデータ） (2023-04-04T11:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。