論文の概要: Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis
- arxiv url: http://arxiv.org/abs/2601.14253v1
- Date: Tue, 20 Jan 2026 18:59:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:23.464867
- Title: Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis
- Title(参考訳): モーション3-to-4:4次元合成のための3次元運動再構成
- Authors: Hongyuan Chen, Xingyu Chen, Youjia Zhang, Zexiang Xu, Anpei Chen,
- Abstract要約: Motion 3-to-4は、単一のモノクロビデオから高品質な4Dダイナミックオブジェクトを合成するためのフィードフォワードフレームワークである。
我々のモデルは、コンパクトな動き潜在表現を学習し、フレーム単位の軌道を予測して、時間的コヒーレントな幾何である完全なロバスト性を取り戻す。
- 参考スコア(独自算出の注目度): 53.48281548500864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Motion 3-to-4, a feed-forward framework for synthesising high-quality 4D dynamic objects from a single monocular video and an optional 3D reference mesh. While recent advances have significantly improved 2D, video, and 3D content generation, 4D synthesis remains difficult due to limited training data and the inherent ambiguity of recovering geometry and motion from a monocular viewpoint. Motion 3-to-4 addresses these challenges by decomposing 4D synthesis into static 3D shape generation and motion reconstruction. Using a canonical reference mesh, our model learns a compact motion latent representation and predicts per-frame vertex trajectories to recover complete, temporally coherent geometry. A scalable frame-wise transformer further enables robustness to varying sequence lengths. Evaluations on both standard benchmarks and a new dataset with accurate ground-truth geometry show that Motion 3-to-4 delivers superior fidelity and spatial consistency compared to prior work. Project page is available at https://motion3-to-4.github.io/.
- Abstract(参考訳): 単一のモノクロビデオとオプションの3D参照メッシュから高品質な4D動的オブジェクトを合成するためのフィードフォワードフレームワークであるMotion 3-to-4を提案する。
近年の2D, ビデオ, および3Dコンテンツ生成の進歩は著しく改善されているが, 4D合成は, 限られたトレーニングデータと, モノラルな視点から幾何や動きを復元する本来のあいまいさのため, 依然として困難である。
Motion 3-to-4は、4次元合成を静的な3次元形状生成と運動再構成に分解することでこれらの課題に対処する。
標準参照メッシュを用いて、我々のモデルはコンパクトな動き潜在表現を学習し、フレームごとの頂点軌道を予測し、時間的コヒーレントな幾何を復元する。
スケーラブルなフレームワイドトランスにより、配列長の変動に対してロバスト性を実現する。
標準ベンチマークと、正確な地上構造を持つ新しいデータセットによる評価は、Motion 3-to-4が以前の作業よりも優れた忠実度と空間的一貫性を提供することを示している。
プロジェクトページはhttps://motion3-to-4.github.io/.com/で公開されている。
関連論文リスト
- SWiT-4D: Sliding-Window Transformer for Lossless and Parameter-Free Temporal 4D Generation [30.72482055095692]
SWiT-4Dは、損失のないパラメータフリーの時間的4Dメッシュ生成のためのスライディング・ウィンドウ変換器である。
SWiT-4D は任意の Diffusion Transformer (DiT) ベースの Image-to-3D ジェネレータとシームレスに統合される。
高忠実度幾何と安定した時間的整合性を実現し、非常に限られた4D監視下での実用的展開可能性を示す。
論文 参考訳(メタデータ) (2025-12-11T17:54:31Z) - Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
そこでTrajScene-60Kについて紹介する。
拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。
次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
論文 参考訳(メタデータ) (2025-12-04T17:59:10Z) - C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。
C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。
我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
論文 参考訳(メタデータ) (2025-10-16T17:59:06Z) - ShapeGen4D: Towards High Quality 4D Shape Generation from Videos [85.45517487721257]
ビデオからエンドツーエンドに1つの動的3次元表現を合成する,ネイティブなビデオから4次元の形状生成フレームワークを提案する。
本手法は,フレームごとの最適化を行なわずに,非剛性運動,体積変化,および位相遷移を正確にキャプチャする。
論文 参考訳(メタデータ) (2025-10-07T17:58:11Z) - MagicPose4D: Crafting Articulated Models with Appearance and Motion Control [17.161695123524563]
我々は4次元生成における外観と動きの制御を洗練させるフレームワークであるMagicPose4Dを提案する。
現行の4D生成方法とは異なり、MagicPose4Dはモーションプロンプトとしてモノクラービデオやメッシュシーケンスを受け入れる。
我々はMagicPose4Dが4Dコンテンツ生成の精度と一貫性を著しく向上することを示した。
論文 参考訳(メタデータ) (2024-05-22T21:51:01Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳(メタデータ) (2024-04-04T18:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。