論文の概要: Generative Cinematographer: Composing Camera and Object Motion in 3D
- arxiv url: http://arxiv.org/abs/2610.02180v1
- Date: Thu, 01 Oct 2026 17:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.364916
- Title: Generative Cinematographer: Composing Camera and Object Motion in 3D
- Title（参考訳）: ジェネレーティブ・シネマトグラフィー:3Dでカメラと物体の動きを合成する
- Abstract要約: 本稿では,1枚の画像を3Dシーンの足場に持ち上げるシステムであるGenerative Cinematographer(GenCine)を紹介する。
アーティストは、カメラパスを特定し、選択した前景領域をローカルな3Dモーションハンドルを使用して移動させる。
我々は、一貫したカメラ相対運動、視点変化下での幾何的整合性の改善、および様々な現実世界のシーンにおける強い制御性を示す。
- 参考スコア（独自算出の注目度）: 10.595342482639685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current controllable video generation systems often rely on 2D motion trajectories or sparse drag signals for object motion. These controls are ambiguous because the same 2D trajectory can correspond to different 3D motions, especially when the camera and objects move simultaneously. We present Generative Cinematographer (GenCine), a system that lifts a single image into an editable 3D scene scaffold where artists jointly author camera and foreground motion. Artists specify a camera path and move selected foreground regions using local 3D motion handles. Several handles can move different parts of a subject independently, providing a piecewise-rigid approximation to non-rigid motion without a physics simulator or category-specific prior. To communicate these controls to a pretrained video model, we project them into guidance maps. These maps record where the controlled regions appear in each frame, assign each handle a fixed color across frames and encode the current 3D positions of its controlled points in the same world coordinate system as the background. This lets us describe object motion relative to the scene even as the camera moves. For training, we recover controls from the motion observed in real videos and use ground-truth geometry and trajectories from synthetic videos. We train a lightweight guidance branch and LoRA adapters on a pretrained Wan model to follow these controls. Our experiments show consistent camera-relative motion, improved geometric consistency under viewpoint changes, and strong controllability across diverse real-world scenes.
- Abstract（参考訳）: 現在の制御可能なビデオ生成システムは、しばしば物体の動きに対して2次元の運動軌跡やスパースドラッグ信号に頼っている。
カメラと物体が同時に動くとき、同じ2次元軌道が異なる3次元運動に対応できるため、これらの制御は曖昧である。
我々は,1枚の画像を編集可能な3Dシーンの足場に持ち上げるジェネラティブ・シネマトグラフィー(GenCine)について紹介する。
アーティストは、カメラパスを特定し、選択した前景領域をローカルな3Dモーションハンドルを使用して移動させる。
いくつかのハンドルは被写体の異なる部分を独立に動かし、物理シミュレータやカテゴリー固有の先行を使わずに、非剛体運動に巧みに近似することができる。
これらの制御を事前訓練されたビデオモデルに伝達するために、ガイダンスマップに投影する。
これらのマップは、各フレームに制御された領域が現れる場所を記録し、各フレームに固定色を割り当て、その制御されたポイントの現在の3D位置を背景と同じ世界座標系にエンコードする。
これにより、カメラが動いているときでも、シーンに対して物体の動きを記述することができる。
トレーニングでは,実ビデオで観察される動作から制御を回復し,合成ビデオから地軸形状と軌道を利用する。
我々は、これらの制御に従うために、トレーニング済みのWanモデルに軽量のガイダンスブランチとLoRAアダプタをトレーニングします。
我々の実験は、一貫したカメラ相対運動、視点変化下での幾何的整合性の改善、および様々な現実世界のシーンにおける強い制御性を示す。
関連論文リスト
- 4Director: Controlling Video World Models with Rigid 3D Geometry [17.644720801654294]
明示的な4Dシーン表現に基づくビデオワールドモデルである4Directorを紹介する。
各オブジェクトは、入力画像から標準メッシュとして一度再構成され、フレーム毎に所定の1つの剛性変換によって移動される。
Motion Adapterは、この幾何学的足場をビデオに変換し、ビュー一貫性のある外観、照明、非剛体力学を合成する。
論文 参考訳（メタデータ） (2026-10-01T17:52:58Z) - SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation [11.470401259593944]
SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。
The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
論文 参考訳（メタデータ） (2026-04-04T12:59:24Z) - Generative Video Motion Editing with 3D Point Tracks [66.55707897151909]
本稿では,カメラと物体の動きを共同編集できるトラックコンディショニングV2Vフレームワークを提案する。
我々は、ソースビデオと、ソースとターゲットの動きを表す3Dポイントトラックのペアにモデルを条件付けすることで、これを実現する。
我々のモデルは、関節カメラ/オブジェクト操作、モーション転送、非剛性変形を含む多様なモーション編集をサポートしている。
論文 参考訳（メタデータ） (2025-12-01T18:59:55Z) - RealisMotion: Decomposed Human Motion Control and Video Generation in the World Space [28.70181587812075]
本研究では,外見,背景,軌道からの動作を明示的に分離する枠組みを提案する。
本手法は,要素ワイド制御性と全映像品質の両面において,最先端性能を実現する。
論文 参考訳（メタデータ） (2025-08-12T03:02:23Z) - CineMaster: A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation [76.72787726497343]
CineMasterは3D認識と制御可能なテキスト・ビデオ生成のためのフレームワークである。
私たちのゴールは、プロの映画監督と同等のコントロール性を持つユーザーを力づけることです。
論文 参考訳（メタデータ） (2025-02-12T18:55:36Z) - Free-Form Motion Control: Controlling the 6D Poses of Camera and Objects in Video Generation [78.65431951506152]
自由形運動制御のための合成データセット(SynFMC)を提案する。
提案するSynFMCデータセットには、さまざまなオブジェクトと環境カテゴリが含まれている。
特定のルールに従って様々な動きパターンをカバーし、一般的な、複雑な現実世界のシナリオをシミュレートする。
完全な6Dポーズ情報は、ビデオ内のオブジェクトとカメラからの動き効果を遠ざけることを学習するモデルを容易にする。
論文 参考訳（メタデータ） (2025-01-02T18:59:45Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳（メタデータ） (2023-11-29T15:56:58Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。