論文の概要: R-DMesh: Video-Guided 3D Animation via Rectified Dynamic Mesh Flow
- arxiv url: http://arxiv.org/abs/2605.13838v2
- Date: Thu, 14 May 2026 06:59:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 15:19:49.928133
- Title: R-DMesh: Video-Guided 3D Animation via Rectified Dynamic Mesh Flow
- Title（参考訳）: R-DMesh: ビデオガイドによる動的メッシュフローによる3Dアニメーション
- Authors: Zijie Wu, Lixin Xu, Puhua Jiang, Sicong Liu, Chunchao Guo, Xiang Bai,
- Abstract要約: 動画誘導3Dアニメーションは、動的資産の直感的かつ正確な制御を提供するコンテンツ制作の可能性を秘めている。
現実のシナリオでは、ユーザーが提供するビデオの最初のポーズは、参照ビデオの開始フレームとほとんど一致しない。
ビデオコンテキストに合わせて高忠実度4Dメッシュを生成するためのフレームワークであるR-DMeshを提案する。
- 参考スコア（独自算出の注目度）: 50.93811008612562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-guided 3D animation holds immense potential for content creation, offering intuitive and precise control over dynamic assets. However, practical deployment faces a critical yet frequently overlooked hurdle: the pose misalignment dilemma. In real-world scenarios, the initial pose of a user-provided static mesh rarely aligns with the starting frame of a reference video. Naively forcing a mesh to follow a mismatched trajectory inevitably leads to severe geometric distortion or animation failure. To address this, we present Rectified Dynamic Mesh (R-DMesh), a unified framework designed to generate high-fidelity 4D meshes that are ``rectified'' to align with video context. Unlike standard motion transfer approaches, our method introduces a novel VAE that explicitly disentangles the input into a conditional base mesh, relative motion trajectories, and a crucial rectification jump offset. This offset is learned to automatically transform the arbitrary pose of the input mesh to match the video's initial state before animation begins. We process these components via a Triflow Attention mechanism, which leverages vertex-wise geometric features to modulate the three orthogonal flows, ensuring physical consistency and local rigidity during the rectification and animation process. For generation, we employ a Rectified Flow-based Diffusion Transformer conditioned on pre-trained video latents, effectively transferring rich spatio-temporal priors to the 3D domain. To support this task, we construct Video-RDMesh, a large-scale dataset of over 500k dynamic mesh sequences specifically curated to simulate pose misalignment. Extensive experiments demonstrate that R-DMesh not only solves the alignment problem but also enables robust downstream applications, including pose retargeting and holistic 4D generation.
- Abstract（参考訳）: 動画誘導3Dアニメーションは、動的資産に対する直感的で正確な制御を提供する、コンテンツ制作の巨大な可能性を秘めている。
しかし、現実的な展開は、しばしば見落とされがちなハードルに直面している。
現実のシナリオでは、ユーザが提供する静的メッシュの初期ポーズは、参照ビデオの開始フレームとほとんど一致しない。
メッシュにミスマッチした軌道を強制的に追従させることは、必然的に、厳密な幾何学的歪みやアニメーションの失敗につながる。
これに対処するために、ビデオコンテキストに合わせるために‘修正’された高忠実度4Dメッシュを生成するために設計された統合フレームワークであるRectified Dynamic Mesh(R-DMesh)を紹介する。
従来の動作伝達手法とは異なり,本手法では,入力を条件付きベースメッシュ,相対的な運動軌跡,重要な修正ジャンプオフセットに明示的に切り離す新しいVAEを導入する。
このオフセットは、入力メッシュの任意のポーズを自動的に変換して、アニメーションが始まる前にビデオの初期状態にマッチするように学習される。
本稿では,3つの直交流を制御し,整流・アニメーション過程における物理的整合性と局所剛性を確保するために,頂点的幾何学的特徴を利用するTriflow Attentionメカニズムを用いてこれらの成分を処理する。
生成には,事前学習したビデオラテントを条件としたRectified Flow-based Diffusion Transformerを使用し,高頻度の時空間前処理を3Dドメインに効果的に転送する。
このタスクを支援するために,500k以上の動的メッシュシーケンスからなる大規模データセットであるVideo-RDMeshを構築した。
大規模な実験により、R-DMeshはアライメント問題を解決するだけでなく、ポーズ再ターゲティングや全体的4D生成を含む堅牢な下流アプリケーションも実現している。
関連論文リスト
- TAPESTRY: From Geometry to Appearance via Consistent Turntable Videos [65.99602532894241]
明示的な3次元幾何学に基づく高忠実度TTVを生成するためのフレームワークであるTAPESTRYを紹介する。
また,3D-Aware Inpaintingを用いた多段パイプラインを特徴とする,TTV入力からの下流再構成タスクを設計する。
その結果,本手法はビデオの整合性と最終的な再現性の両方において,既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2026-03-18T14:02:09Z) - Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow [61.297800738187355]
Flow4Rは、Vision Transformerを用いて、画素当たりのプロパティセット3Dポイント位置、シーンフロー、ポーズウェイト、および2ビュー入力からの信頼度を最小限に予測する。
静的データセットと動的データセットを併用してトレーニングされたFlow4Rは、4D再構築とトラッキングタスクにおける最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-15T06:58:08Z) - DragMesh: Interactive 3D Generation Made Easy [12.832539752284466]
DragMeshはリアルタイムインタラクティブな3Dコーディネーションのための堅牢なフレームワークである。
私たちのコアコントリビューションは、新しい分離されたキネマティック推論とモーションジェネレーションフレームワークです。
論文 参考訳（メタデータ） (2025-12-06T13:10:44Z) - Gaussian See, Gaussian Do: Semantic 3D Motion Transfer from Multiview Video [15.994811723477973]
マルチビュー映像からの3D動画のセマンティック・モーション・トランスファーのための新しい手法を提案する。
条件インバージョンにより映像から動き埋め込みを抽出し,レンダリングフレームに適用し,結果の動画を用いて動的3次元ガウススプラッティング再構成を監督する。
セマンティックな3次元動き伝達のための最初のベンチマークを確立し, 適応ベースラインよりも優れた動きの忠実度と構造的整合性を示す。
論文 参考訳（メタデータ） (2025-11-18T19:02:50Z) - Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。
DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
論文 参考訳（メタデータ） (2025-08-08T21:31:51Z) - Enhancing non-Rigid 3D Model Deformations Using Mesh-based Gaussian Splatting [0.0]
メッシュ表現を3次元ガウススプラッティングでブリッジすることで,非剛体3次元モデルの変形を改善する新しいフレームワークを提案する。
この研究は、バーチャルリアリティー、キャラクターアニメーション、インタラクティブデザインにまたがるアプリケーションにおいて、より柔軟な3Dコンテンツ作成の道を開く。
論文 参考訳（メタデータ） (2025-07-09T16:26:04Z) - Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach [54.559847511280545]
三次元幾何学と動的認識を統合した新しい映像生成フレームワークを提案する。
これを実現するために、3Dポイントトラジェクトリで2Dビデオを拡大し、ピクセル空間に配置する。
結果の3D対応ビデオデータセットであるPointVidは、遅延拡散モデルを微調整するために使用される。
論文 参考訳（メタデータ） (2025-02-05T21:49:06Z) - H3D-DGS: Exploring Heterogeneous 3D Motion Representation for Deformable 3D Gaussian Splatting [39.2960379257236]
ダイナミックシーンの再構築は、3Dビジョンにおいて永続的な課題となる。
変形可能な3Dガウススプラッティングは,リアルタイムレンダリングと高視認性を実現するため,この作業に有効な方法として登場した。
このアプローチは、動的シーンを標準空間における静的な表現と時間変化のシーンモーションに分解する。
Neu3DVおよびCMU-Panopticデータセットを用いた実験により,本手法は最先端の変形可能な3次元ガウススプラッティング技術よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-08-23T12:51:49Z) - Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。
UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。
モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors [10.355568895429588]
ダイレクトメッシュの編集と変形は、幾何学的モデリングとアニメーションパイプラインの重要なコンポーネントである。
正規化器は、オブジェクトのグローバルなコンテキストとセマンティクスを意識していない。
我々の変形を制御して,グローバルな文脈を意識した現実的な形状の変形を生成できることが示される。
論文 参考訳（メタデータ） (2023-10-06T19:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。