論文の概要: Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
- arxiv url: http://arxiv.org/abs/2606.27964v1
- Date: Fri, 26 Jun 2026 11:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.472464
- Title: Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
- Title（参考訳）: 人間のカメラ制御による高速自動回帰ビデオ生成
- Abstract要約: デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。
私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。
人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
- 参考スコア（独自算出の注目度）: 56.828569670698975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building interactive world models requires generating realistic videos while maintaining controllable dynamics over long horizons. Autoregressive video generation offers a scalable foundation, but suffers from error accumulation and temporal degradation during extended rollouts. This issue is further amplified under heterogeneous controls such as human motion and camera trajectories, which may interfere and destabilize a pretrained video prior, while existing methods often trade off controllability and visual quality. We propose "Directing the World", a fast autoregressive framework for controllable world-model video generation with compositional human-motion and camera-trajectory control. Our key idea is to decouple control learning while preserving a unified autoregressive video prior. We introduce a Fast-Slow Memory training strategy to stabilize long-horizon rollout learning and improve convergence. For human motion control, we design a t-guided Dynamic Projection mechanism and a refined Motion-CFG strategy, enabling temporally smooth and accurate motion alignment without degrading visual fidelity, and supporting multi-person control.After learning a robust motion prior, we introduce a second-stage camera-trajectory control module to compose human dynamics with viewpoint changes for coherent world exploration. We further construct a large-scale dataset with synchronized video, text, human-motion, and camera-trajectory annotations, organized into motion-centric and camera-centric subsets for decoupled training. Extensive experiments show stable long-horizon generation with precise controllability and high visual quality. See more at https://whydahuzi.github.io/Directing-the-World.github.io/.
- Abstract（参考訳）: インタラクティブな世界モデルを構築するには、長い地平線上で制御可能なダイナミクスを維持しながら、リアルなビデオを生成する必要がある。
自動回帰ビデオ生成はスケーラブルな基盤を提供するが、ロールアウト期間のエラーの蓄積と時間的劣化に悩まされている。
この問題は、人間の動きやカメラ軌道のような異種制御の下でさらに増幅され、事前訓練されたビデオの干渉や不安定化を招きかねない。
本研究では,人体動作とカメラ軌道制御を併用した高速な世界モデル映像生成のための自己回帰フレームワークであるDirecting the Worldを提案する。
私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。
我々は,長期のロールアウト学習を安定させ,収束を改善するために,高速スローメモリトレーニング戦略を導入する。
人間の動作制御のためには、T誘導のダイナミックプロジェクション機構と改良されたモーション-CFG戦略を設計し、視覚的忠実さを損なうことなく時間的にスムーズで正確な動作アライメントを可能にし、複数人による制御をサポートする。
さらに、ビデオ、テキスト、人動、カメラ軌道アノテーションを同期させた大規模なデータセットを構築し、非結合トレーニングのために、モーション中心およびカメラ中心のサブセットに編成する。
広汎な実験では、正確な制御性と高い視覚的品質を持つ安定な長軸生成が示される。
詳しくはhttps://whydahuzi.github.io/Directing-the-World.github.io/を参照のこと。
関連論文リスト
- UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation [50.391925716274926]
textbfUniMoCaは、視覚空間におけるモーションとカメラコントロールを統合する表現駆動フレームワークである。
UniMoCaは、人間の動き制御、カメラ制御、時間的一貫性、カメラ認識の堅牢性において、最小限の複雑さで大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-08-03T09:18:13Z) - Wonder: Video World Model Done Better [70.28870858365214]
We present Wonder, a general-purpose video world model for real-time, camera-controllable world exploration。
画像や条件付きビデオが与えられたWonderは、ユーザがカメラを動かして対話的にナビゲートできるプレイ可能な世界を構築する。
本研究では、空間的に整列した動きと向きを与える高密度座標場を用いた新しいカメラコンディショニングを提案する。
論文 参考訳（メタデータ） (2026-07-28T17:45:25Z) - WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory [106.28234880163723]
WorldDirectorは、高度に制御可能なビデオワールドモデルフレームワークである。
我々のフレームワークは、視覚生成から意味的な動きのオーケストレーションを明示的に分離する。
長時間の視界外から再突入しても,動的実体の正確な視覚的アイデンティティを保たせることができた。
論文 参考訳（メタデータ） (2026-07-02T17:59:59Z) - DisCo: World Models with Discrete Camera Motion Control [79.86256515640231]
本研究では、離散アクションプリミティブのコンパクトなセットで生成し、アクション分離性を改善する制御可能なビデオワールドモデルであるDisCoを提案する。
DisCoは、視覚的品質を維持しながら、はるかに信頼性の高いアクションを達成する。
論文 参考訳（メタデータ） (2026-06-06T03:50:45Z) - SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation [11.470401259593944]
SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。
The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
論文 参考訳（メタデータ） (2026-04-04T12:59:24Z) - DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning [82.28800081483224]
我々は,Omniモーション制御による多目的カスタマイズを実現する統合フレームワークであるDreamVideo-Omniを提案する。
複数対象のあいまいさを解決するために,グループとロールの埋め込みを導入し,特定のアイデンティティに移動信号を明示的に固定する。
これは、人間の嗜好に沿ったアイデンティティ保存を優先して、潜在空間における動き認識ID報酬を提供する。
論文 参考訳（メタデータ） (2026-03-12T17:59:12Z) - Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures [33.2764643227486]
エゴセントリックなインタラクティブな世界モデルは、拡張現実と具体的AIにとって不可欠であり、視覚生成は低レイテンシ、幾何的一貫性、長期的な安定性でユーザの入力に応答する必要がある。
自由空間ハンドジェスチャ下での単一シーン画像からのエゴセントリックなインタラクション生成について検討し、シーンに手を入れたり、オブジェクトと対話したり、ヘッドモーション下でプラプティブルな世界ダイナミクスを誘導するフォトリアリスティックな映像を合成することを目的とした。
この設定には、自由空間のジェスチャーと接触重大なトレーニングデータとの分配シフト、モノクロビューにおける手の動きとカメラの動きのあいまいさ、任意の長さのビデオ生成の必要性など、基本的な課題が導入されている。
論文 参考訳（メタデータ） (2026-02-10T09:51:07Z) - Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation [73.73984727616198]
映像生成におけるカメラと人間の動きを正確に制御するための統合フレームワークUni3Cを提案する。
まず,フリーズビデオ生成バックボーンであるPCDControllerで学習したプラグイン・アンド・プレイ制御モジュールを提案する。
第2に,景観点雲とSMPL-X文字をシームレスに統合する推論フェーズの3次元ワールドガイダンスを提案する。
論文 参考訳（メタデータ） (2025-04-21T07:10:41Z) - TokenMotion: Decoupled Motion Control via Token Disentanglement for Human-centric Video Generation [7.900728371180723]
TokenMotionは、カメラモーションのきめ細かい制御を可能にする、最初のDiTベースのビデオ拡散フレームワークである。
本稿では,人間を意識した動的マスクをブリッジした分離・融合戦略を用いた統一モデリングフレームワークを提案する。
私たちの研究は、コントロール可能なビデオ生成の大幅な進歩を表しており、特にクリエイティブなプロダクションアプリケーションに関係しています。
論文 参考訳（メタデータ） (2025-04-11T00:41:25Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。