論文の概要: HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
- arxiv url: http://arxiv.org/abs/2504.06210v1
- Date: Tue, 08 Apr 2025 16:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 13:29:32.429091
- Title: HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
- Title（参考訳）: HiMoR:階層的運動表現を用いた単分子変形型ガウス再構成
- Authors: Yiming Liang, Tianhan Xu, Yuta Kikuchi,
- Abstract要約: 本稿では,3次元ガウスプリミティブの変形表現である階層運動表現(HiMoR)を提案する。
HiMoRは高品質な単分子動的3D再構成を実現することができる。
- 参考スコア（独自算出の注目度）: 5.554108749756682
- License:
- Abstract: We present Hierarchical Motion Representation (HiMoR), a novel deformation representation for 3D Gaussian primitives capable of achieving high-quality monocular dynamic 3D reconstruction. The insight behind HiMoR is that motions in everyday scenes can be decomposed into coarser motions that serve as the foundation for finer details. Using a tree structure, HiMoR's nodes represent different levels of motion detail, with shallower nodes modeling coarse motion for temporal smoothness and deeper nodes capturing finer motion. Additionally, our model uses a few shared motion bases to represent motions of different sets of nodes, aligning with the assumption that motion tends to be smooth and simple. This motion representation design provides Gaussians with a more structured deformation, maximizing the use of temporal relationships to tackle the challenging task of monocular dynamic 3D reconstruction. We also propose using a more reliable perceptual metric as an alternative, given that pixel-level metrics for evaluating monocular dynamic 3D reconstruction can sometimes fail to accurately reflect the true quality of reconstruction. Extensive experiments demonstrate our method's efficacy in achieving superior novel view synthesis from challenging monocular videos with complex motions.
- Abstract（参考訳）: 高品質な単分子動的3次元再構成を実現することが可能な3次元ガウスプリミティブのための新しい変形表現である階層運動表現(HiMoR)を提案する。
HiMoRの背景にある洞察は、日常のシーンにおける動きは粗い動きに分解され、より細かな詳細の基礎となることである。
木構造を用いて、HiMoRのノードは、より浅いノードが時間的滑らかさのために粗い動きをモデル化し、より深いノードがより微細な動きをキャプチャする。
さらに、我々のモデルは、異なるノードの集合の運動を表現するために、いくつかの共有モーションベースを使用し、運動が滑らかで単純なものであるという仮定と一致している。
この運動表現設計はガウスにより構造化された変形を与え、モノクロ3次元再構成の挑戦的な課題に取り組むための時間的関係の利用を最大化する。
また,モノラルな動的3次元再構成を評価するためのピクセルレベルのメトリクスは,再現の真の品質を正確に反映することができない場合があるため,より信頼性の高い知覚計測基準を代替手段として用いることを提案する。
複雑な動きを伴う難解な単分子ビデオから優れた新規な視点合成を実現する上での本手法の有効性を,広範囲にわたる実験により実証した。
関連論文リスト
- Seeing World Dynamics in a Nutshell [132.79736435144403]
NutWorldはモノクロ動画をダイナミックな3D表現に変換するフレームワークである。
我々は,NutWorldがリアルタイムにダウンストリームアプリケーションを実現しつつ,高忠実度ビデオ再構成品質を実現することを実証した。
論文 参考訳（メタデータ） (2025-02-05T18:59:52Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video [26.468480933928458]
高品質な再構成とモノクロビデオからの高速レンダリングを実現するために,COLMAPフリーな動的3DガウススティングフレームワークであるSplineGSを提案する。
中心となるのは、連続的な動的3次元ガウス軌道を表す新しい動き適応スプライン(MAS)法である。
カメラパラメータ推定と3次元ガウス属性の同時最適化手法を提案する。
論文 参考訳（メタデータ） (2024-12-13T09:09:14Z) - MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳（メタデータ） (2024-10-10T08:19:47Z) - Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds [27.802537831023347]
野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された、モダンな4D再構成システムである4D Motion Scaffolds (MoSca)を紹介した。
動的レンダリングベンチマークにおける最先端のパフォーマンスと実動画での有効性について実験を行った。
論文 参考訳（メタデータ） (2024-05-27T17:59:07Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。