論文の概要: I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength
- arxiv url: http://arxiv.org/abs/2411.06525v2
- Date: Tue, 26 Nov 2024 03:53:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:32:29.008239
- Title: I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength
- Title（参考訳）: I2VControl-Camera:動きの調整が可能な精密ビデオカメラ制御
- Authors: Wanquan Feng, Jiawei Liu, Pengqi Tu, Tianhao Qi, Mingzhen Sun, Tianxiang Ma, Songtao Zhao, Siyu Zhou, Qian He,
- Abstract要約: I2Vコントロルカメラ(I2VControl-Camera)は、被写体運動の強度を提供しながら、制御性を大幅に向上させる新しいカメラ制御方法である。
被写体運動の強度を正確に制御・調整するために,映像軌道展開の高次成分を明示的にモデル化する。
- 参考スコア（独自算出の注目度）: 11.778832811404259
- License:
- Abstract: Video generation technologies are developing rapidly and have broad potential applications. Among these technologies, camera control is crucial for generating professional-quality videos that accurately meet user expectations. However, existing camera control methods still suffer from several limitations, including control precision and the neglect of the control for subject motion dynamics. In this work, we propose I2VControl-Camera, a novel camera control method that significantly enhances controllability while providing adjustability over the strength of subject motion. To improve control precision, we employ point trajectory in the camera coordinate system instead of only extrinsic matrix information as our control signal. To accurately control and adjust the strength of subject motion, we explicitly model the higher-order components of the video trajectory expansion, not merely the linear terms, and design an operator that effectively represents the motion strength. We use an adapter architecture that is independent of the base model structure. Experiments on static and dynamic scenes show that our framework outperformances previous methods both quantitatively and qualitatively. The project page is: https://wanquanf.github.io/I2VControlCamera .
- Abstract（参考訳）: ビデオ生成技術は急速に発展し、幅広い応用が期待されている。
これらの技術の中で、カメラコントロールは、ユーザの期待を正確に満たすプロのクオリティなビデオを生成するために不可欠である。
しかし、既存のカメラ制御方法には、制御精度や被写体運動力学の制御の無視など、いくつかの制限がある。
本研究では,被写体運動の強度を調節し,制御性を大幅に向上させる新しいカメラ制御法であるI2VControl-Cameraを提案する。
制御精度を向上させるために、制御信号として外部行列情報のみの代わりに、カメラ座標系に点軌道を用いる。
被写体運動の強度を正確に制御・調整するために,映像軌道展開の高次成分を線形項だけでなく明示的にモデル化し,運動強度を効果的に表現する演算子を設計する。
ベースモデル構造に依存しないアダプタアーキテクチャを使用します。
静的および動的シーンの実験により、我々のフレームワークは従来の手法を定量的にも質的にも性能的にも優れていることが示された。
プロジェクトページは、 https://wanquanf.github.io/I2VControlCamera である。
関連論文リスト
- ObjCtrl-2.5D: Training-free Object Control with Camera Poses [61.23620424598908]
本研究の目的は、画像間(I2V)生成において、より正確で多目的なオブジェクト制御を実現することである。
深度情報を持つ2次元軌道から拡張した3次元軌道を用いた学習不要物体制御手法であるCtrl-2.5Dを制御信号として提案する。
実験により、Ctrl-2.5Dはトレーニング不要の手法と比較して、オブジェクト制御の精度を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-12-10T18:14:30Z) - AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。
これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-11-27T18:49:13Z) - Boosting Camera Motion Control for Video Diffusion Transformers [21.151900688555624]
本研究では, トランスフォーマーベース拡散モデル (DiT) がカメラモーションの精度を著しく低下させることを示した。
DiTの持続的な動き劣化に対処するため、カメラモーションガイダンス(CMG)を導入し、カメラ制御を400%以上向上させる。
提案手法はU-NetモデルとDiTモデルの両方に適用され,ビデオ生成タスクに改良されたカメラ制御を提供する。
論文 参考訳（メタデータ） (2024-10-14T17:58:07Z) - VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。
我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
論文 参考訳（メタデータ） (2024-07-17T17:59:05Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
ユーザーが希望するコンテンツを作成することができるため、ビデオ生成において制御性は重要な役割を担っている。
既存のモデルは、撮影言語として機能するカメラポーズの正確な制御をほとんど見落としていた。
我々は、テキスト・トゥ・ビデオ(T2V)モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
論文 参考訳（メタデータ） (2024-04-02T16:52:41Z) - Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion [34.404342332033636]
我々は、カメラのパンやズームの動きだけでなく、複数のオブジェクトのモーションを独立して指定できるシステムであるDirect-a-Videoを紹介した。
カメラの動きの定量的なパラメータを解釈するために,新しい時間的クロスアテンション層を導入する。
どちらのコンポーネントも独立して動作し、個別または複合的な制御を可能にし、オープンドメインシナリオに一般化することができる。
論文 参考訳（メタデータ） (2024-02-05T16:30:57Z) - MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。
本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。