論文の概要: SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
- arxiv url: http://arxiv.org/abs/2604.03723v2
- Date: Sat, 11 Apr 2026 10:19:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 14:47:45.489753
- Title: SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
- Title(参考訳): SymphoMotion:コヒーレントビデオ生成のためのカメラモーションとオブジェクトダイナミクスのジョイントコントロール
- Authors: Guiyu Zhang, Yabo Chen, Xunzhi Xiang, Junchao Huang, Zhongyu Wang, Li Jiang,
- Abstract要約: SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。
The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
- 参考スコア(独自算出の注目度): 11.470401259593944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controlling both camera motion and object dynamics is essential for coherent and expressive video generation, yet current methods typically handle only one motion type or rely on ambiguous 2D cues that entangle camera-induced parallax with true object movement. We present SymphoMotion, a unified motion-control framework that jointly governs camera trajectories and object dynamics within a single model. SymphoMotion features a Camera Trajectory Control mechanism that integrates explicit camera paths with geometry-aware cues to ensure stable, structurally consistent viewpoint transitions, and an Object Dynamics Control mechanism that combines 2D visual guidance with 3D trajectory embeddings to enable depth-aware, spatially coherent object manipulation. To support large-scale training and evaluation, we further construct RealCOD-25K, a comprehensive real-world dataset containing paired camera poses and object-level 3D trajectories across diverse indoor and outdoor scenes, addressing a key data gap in unified motion control. Extensive experiments and user studies show that SymphoMotion significantly outperforms existing methods in visual fidelity, camera controllability, and object-motion accuracy, establishing a new benchmark for unified motion control in video generation. Codes and data are publicly available at https://grenoble-zhang.github.io/SymphoMotion/.
- Abstract(参考訳): カメラモーションとオブジェクトダイナミクスの両方を制御することは、コヒーレントで表現力のあるビデオ生成には不可欠であるが、現在の手法は、通常、1つのモーションタイプのみを扱うか、カメラによって引き起こされる視差を真の物体の動きと絡める曖昧な2Dキューに依存している。
カメラの軌跡とオブジェクトのダイナミクスを1つのモデル内で共同で制御する,統合されたモーションコントロールフレームワークであるSymphoMotionを提案する。
SymphoMotionはカメラ・トラジェクトリ・コントロール機構を備えており、カメラ・パスとジオメトリ・アウェア・キューを統合し、安定的で構造的に一貫した視点遷移を保証する。
大規模なトレーニングと評価を支援するために,ペアカメラのポーズとオブジェクトレベルの3Dトラジェクトリを含む総合的な実世界のデータセットであるRealCOD-25Kを構築し,統合されたモーションコントロールにおける重要なデータギャップに対処する。
広汎な実験とユーザスタディにより、SymphoiMotionは、視覚的忠実度、カメラ制御性、オブジェクトモーションの精度において既存の手法よりも大幅に優れており、ビデオ生成における統合されたモーションコントロールのための新しいベンチマークが確立されている。
コードとデータはhttps://grenoble-zhang.github.io/SymphoMotion/.comで公開されている。
関連論文リスト
- ATI: Any Trajectory Instruction for Controllable Video Generation [25.249489701215467]
本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。
提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
論文 参考訳(メタデータ) (2025-05-28T23:49:18Z) - C-Drag: Chain-of-Thought Driven Motion Controller for Video Generation [81.4106601222722]
トラジェクティブに基づくモーションコントロールは、制御可能なビデオ生成のための直感的で効率的なアプローチとして登場した。
我々はC-Dragという制御可能なビデオ生成のためのチェーン・オブ・ソート型モーションコントローラを提案する。
本手法は,物体認識モジュールとChain-of-Thoughtベースの動作推論モジュールを含む。
論文 参考訳(メタデータ) (2025-02-27T08:21:03Z) - Free-Form Motion Control: Controlling the 6D Poses of Camera and Objects in Video Generation [78.65431951506152]
自由形運動制御のための合成データセット(SynFMC)を提案する。
提案するSynFMCデータセットには、さまざまなオブジェクトと環境カテゴリが含まれている。
特定のルールに従って様々な動きパターンをカバーし、一般的な、複雑な現実世界のシナリオをシミュレートする。
完全な6Dポーズ情報は、ビデオ内のオブジェクトとカメラからの動き効果を遠ざけることを学習するモデルを容易にする。
論文 参考訳(メタデータ) (2025-01-02T18:59:45Z) - ObjCtrl-2.5D: Training-free Object Control with Camera Poses [61.23620424598908]
本研究の目的は、画像間(I2V)生成において、より正確で多目的なオブジェクト制御を実現することである。
深度情報を持つ2次元軌道から拡張した3次元軌道を用いた学習不要物体制御手法であるCtrl-2.5Dを制御信号として提案する。
実験により、Ctrl-2.5Dはトレーニング不要の手法と比較して、オブジェクト制御の精度を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-12-10T18:14:30Z) - MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。
本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。