論文の概要: Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video

• arxiv url: http://arxiv.org/abs/2508.06715v1
• Date: Fri, 08 Aug 2025 21:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.520293
• Title: Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video
• Title（参考訳）: Restage4D:1枚のビデオから変形可能な3D再構成を再現する
• Authors: Jixuan He, Chieh Hubert Lin, Lu Qi, Ming-Hsuan Yang,
• Abstract要約: ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。 DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
• 参考スコア（独自算出の注目度）: 56.781766315691854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating deformable 3D content has gained increasing attention with the rise of text-to-image and image-to-video generative models. While these models provide rich semantic priors for appearance, they struggle to capture the physical realism and motion dynamics needed for authentic 4D scene synthesis. In contrast, real-world videos can provide physically grounded geometry and articulation cues that are difficult to hallucinate. One question is raised: \textit{Can we generate physically consistent 4D content by leveraging the motion priors of the real-world video}? In this work, we explore the task of reanimating deformable 3D scenes from a single video, using the original sequence as a supervisory signal to correct artifacts from synthetic motion. We introduce \textbf{Restage4D}, a geometry-preserving pipeline for video-conditioned 4D restaging. Our approach uses a video-rewinding training strategy to temporally bridge a real base video and a synthetic driving video via a shared motion representation. We further incorporate an occlusion-aware rigidity loss and a disocclusion backtracing mechanism to improve structural and geometry consistency under challenging motion. We validate Restage4D on DAVIS and PointOdyssey, demonstrating improved geometry consistency, motion quality, and 3D tracking performance. Our method not only preserves deformable structure under novel motion, but also automatically corrects errors introduced by generative models, revealing the potential of video prior in 4D restaging task. Source code and trained models will be released.
• Abstract（参考訳）: 変形可能な3Dコンテンツの作成は、テキスト・ツー・画像生成モデルや画像・ビデオ生成モデルの台頭に伴い、注目を集めている。 これらのモデルは外観に豊かなセマンティックな先行情報を提供するが、実際の4Dシーン合成に必要な物理的なリアリズムと動きのダイナミクスを捉えるのに苦労している。 対照的に、現実世界のビデオは、幻覚が難しい物理的に接地された幾何学と調音の手がかりを提供することができる。 1つの疑問が提起される: \textit{Can we generate physically consistent 4D content by advantage the motion priors of the real-world video}? 本研究では,変形可能な3Dシーンを1つのビデオから再アニメーションする作業について検討し,元のシーケンスを監督信号として使用して合成動作からのアーティファクトを補正する。 ビデオ条件付き4D再生のための幾何保存パイプラインである \textbf{Restage4D} を紹介する。 提案手法では,映像再生トレーニング戦略を用いて,実写映像と合成駆動映像を時間的にブリッジする。 さらに, 閉塞性を考慮した剛性損失と非閉塞性逆トレース機構を組み込んで, 挑戦運動時の構造的および幾何学的整合性を改善する。 DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。 提案手法は, 新規動作下での変形可能な構造を保存するだけでなく, 生成モデルによる誤りを自動的に補正し, 4次元再生作業に先立つ映像の可能性を明らかにする。 ソースコードとトレーニングされたモデルがリリースされる。

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。