論文の概要: UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation

• arxiv url: http://arxiv.org/abs/2608.01944v1
• Date: Mon, 03 Aug 2026 09:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.463795
• Title: UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation
• Title（参考訳）: UniMoCa:人間の忠実なビデオ生成のための視覚プロキシとしてのモーションとカメラコントロールの統合
• Abstract要約: textbfUniMoCaは、視覚空間におけるモーションとカメラコントロールを統合する表現駆動フレームワークである。 UniMoCaは、人間の動き制御、カメラ制御、時間的一貫性、カメラ認識の堅牢性において、最小限の複雑さで大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 50.391925716274926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlling human motion and camera movement is essential for faithful human-oriented video generation, yet remains challenging in multi-person scenes with large body motions, occlusions, and dynamic cameras. Existing pipelines typically rely on visual motion sequences, such as skeleton maps, pose maps, or rendered body representations, for motion control, while using camera embeddings for camera control. Such heterogeneous control interfaces force video generation models to reconcile pixel-aligned visual cues with non-visual geometric embeddings, making motion-camera attribution difficult and sensitive to camera estimation errors. We propose \textbf{UniMoCa}, a representation-driven framework that unifies motion and camera controls in visual space. At the core of UniMoCa is \textbf{Motion-Camera Visual Proxy} (\textbf{MCVP}), a mutually-sharable novel representation that converts 3D human motion and camera trajectories extracted from driving videos into an identity-neutral visual proxy. MCVP renders temporally aligned human geometry under the recovered camera trajectory and augments it with explicit camera trajectory markers, replacing heterogeneous visual-parametric controls with distinguishable visual cues. As both control factors are represented in the same visual space, they become mutually compatible rather than heterogeneous, enabling consistent joint reasoning and editing during video generation. We further curate a \textbf{MCVP-Video} dataset covering complex actions, multi-person interactions, and diverse camera trajectories. Experiments based on the Wan2.2 I2V show that UniMoCa achieves substantial gains in human motion control, camera control, temporal consistency, and camera-aware robustness with minimal additional complexity. More details are shown in our Project page: https://tanliming-daniel.github.io/UniMoCa/.
• Abstract（参考訳）: 人間の動きとカメラの動きを制御することは、忠実な人間指向のビデオ生成には不可欠であるが、大きな身体の動き、オクルージョン、ダイナミックカメラを持つ多人数シーンでは依然として困難である。 既存のパイプラインは通常、カメラの埋め込みをカメラの制御に使用しながら、スケルトンマップ、ポーズマップ、レンダリングされたボディ表現などの視覚的な動きのシーケンスに依存している。 このようなヘテロジニアスな制御インタフェースは、ビデオ生成モデルに対して、非視覚的な幾何学的埋め込みによる画素配列の視覚的キューの調整を強制し、モーションカメラの属性を難しくし、カメラ推定誤差に敏感にする。 視覚空間における動きとカメラ制御を統一する表現駆動型フレームワークである「textbf{UniMoCa}」を提案する。 UniMoCaのコアとなるのは、ビデオの駆動から抽出された3Dの人間の動きとカメラの軌跡を識別ニュートラルな視覚プロキシに変換する、相互に共有可能なノベル表現である \textbf{Motion-Camera Visual Proxy} (\textbf{MCVP})である。 MCVPは、復元されたカメラ軌跡の下で時間的に整列した人間の幾何学をレンダリングし、それを明示的なカメラ軌跡マーカーで拡張し、異種視覚パラメトリック制御を区別可能な視覚的手がかりに置き換える。 両制御因子は同一の視覚空間で表現されるため、異種ではなく相互互換となり、ビデオ生成中に一貫した共同推論と編集が可能となる。 さらに、複雑なアクション、複数対人インタラクション、多様なカメラトラジェクトリを対象とする \textbf{MCVP-Video} データセットをキュレートする。 Wan2.2 I2Vをベースとした実験では、UniMoCaは人間のモーションコントロール、カメラ制御、時間的一貫性、カメラ認識の堅牢性において、最小限の複雑さで大幅に向上している。 詳細はプロジェクトのページで示されています。

関連論文リスト

• Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control [56.828569670698975]
  デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。 私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。 人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
  論文  参考訳（メタデータ） (2026-06-26T11:08:09Z)
• TriMotion: Modality-Agnostic Camera Control for Video Generation [65.5913929253637]
  TriMotionは、カメラ制御ビデオ生成のためのフレームワークで、ビデオ、ポーズ、テキスト入力をマッピングし、同じカメラ軌跡を共有モーション埋め込み空間に記述する。 また,TriMotionは3つのモダリティ全てを対象とするカメラ軌跡を正確に追従する高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2026-06-18T16:07:05Z)
• OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data [47.59993927255196]
  我々は、カメラをグリッドモーションビデオとしてエンコードする一般的なカメラモーション表現を導入する。 このカメラグリッドは、カメラパラメータを視覚的に表現し、マルチショットビデオ生成のための多様なトラジェクトリの統合をサポートする。 OmniDirectorは,100万台のカメラグリッドとビデオのペアで訓練された統合フレームワークである。
  論文  参考訳（メタデータ） (2026-06-11T14:58:28Z)
• SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation [11.470401259593944]
  SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。 The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
  論文  参考訳（メタデータ） (2026-04-04T12:59:24Z)
• ATI: Any Trajectory Instruction for Controllable Video Generation [25.249489701215467]
  本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。 提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
  論文  参考訳（メタデータ） (2025-05-28T23:49:18Z)
• Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation [73.73984727616198]
  映像生成におけるカメラと人間の動きを正確に制御するための統合フレームワークUni3Cを提案する。 まず,フリーズビデオ生成バックボーンであるPCDControllerで学習したプラグイン・アンド・プレイ制御モジュールを提案する。 第2に,景観点雲とSMPL-X文字をシームレスに統合する推論フェーズの3次元ワールドガイダンスを提案する。
  論文  参考訳（メタデータ） (2025-04-21T07:10:41Z)
• Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion [34.404342332033636]
  我々は、カメラのパンやズームの動きだけでなく、複数のオブジェクトのモーションを独立して指定できるシステムであるDirect-a-Videoを紹介した。 カメラの動きの定量的なパラメータを解釈するために,新しい時間的クロスアテンション層を導入する。 どちらのコンポーネントも独立して動作し、個別または複合的な制御を可能にし、オープンドメインシナリオに一般化することができる。
  論文  参考訳（メタデータ） (2024-02-05T16:30:57Z)
• MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
  ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。 本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。