論文の概要: I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength

• arxiv url: http://arxiv.org/abs/2411.06525v2
• Date: Tue, 26 Nov 2024 03:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:29.008239
• Title: I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength
• Title（参考訳）: I2VControl-Camera:動きの調整が可能な精密ビデオカメラ制御
• Authors: Wanquan Feng, Jiawei Liu, Pengqi Tu, Tianhao Qi, Mingzhen Sun, Tianxiang Ma, Songtao Zhao, Siyu Zhou, Qian He,
• Abstract要約: I2Vコントロルカメラ(I2VControl-Camera)は、被写体運動の強度を提供しながら、制御性を大幅に向上させる新しいカメラ制御方法である。 被写体運動の強度を正確に制御・調整するために,映像軌道展開の高次成分を明示的にモデル化する。
• 参考スコア（独自算出の注目度）: 11.778832811404259
• License:
• Abstract: Video generation technologies are developing rapidly and have broad potential applications. Among these technologies, camera control is crucial for generating professional-quality videos that accurately meet user expectations. However, existing camera control methods still suffer from several limitations, including control precision and the neglect of the control for subject motion dynamics. In this work, we propose I2VControl-Camera, a novel camera control method that significantly enhances controllability while providing adjustability over the strength of subject motion. To improve control precision, we employ point trajectory in the camera coordinate system instead of only extrinsic matrix information as our control signal. To accurately control and adjust the strength of subject motion, we explicitly model the higher-order components of the video trajectory expansion, not merely the linear terms, and design an operator that effectively represents the motion strength. We use an adapter architecture that is independent of the base model structure. Experiments on static and dynamic scenes show that our framework outperformances previous methods both quantitatively and qualitatively. The project page is: https://wanquanf.github.io/I2VControlCamera .
• Abstract（参考訳）: ビデオ生成技術は急速に発展し、幅広い応用が期待されている。 これらの技術の中で、カメラコントロールは、ユーザの期待を正確に満たすプロのクオリティなビデオを生成するために不可欠である。 しかし、既存のカメラ制御方法には、制御精度や被写体運動力学の制御の無視など、いくつかの制限がある。 本研究では,被写体運動の強度を調節し,制御性を大幅に向上させる新しいカメラ制御法であるI2VControl-Cameraを提案する。 制御精度を向上させるために、制御信号として外部行列情報のみの代わりに、カメラ座標系に点軌道を用いる。 被写体運動の強度を正確に制御・調整するために,映像軌道展開の高次成分を線形項だけでなく明示的にモデル化し,運動強度を効果的に表現する演算子を設計する。 ベースモデル構造に依存しないアダプタアーキテクチャを使用します。 静的および動的シーンの実験により、我々のフレームワークは従来の手法を定量的にも質的にも性能的にも優れていることが示された。 プロジェクトページは、 https://wanquanf.github.io/I2VControlCamera である。

関連論文リスト

• CamI2V: Camera-Controlled Image-to-Video Diffusion Model [11.762824216082508]
  本稿では,明示的な物理的制約をモデル設計に統合する必要性を強調した。 ノイズ条件の新たな視点から,すべてのクロスフレーム関係をモデル化するためのエピポーラアテンションを提案する。 領域外画像への強い一般化を維持しつつ、RealEstate10K上でのカメラ制御性を25.5%向上させる。
  論文  参考訳（メタデータ） (2024-10-21T12:36:27Z)
• Boosting Camera Motion Control for Video Diffusion Transformers [21.151900688555624]
  本研究では, トランスフォーマーベース拡散モデル (DiT) がカメラモーションの精度を著しく低下させることを示した。 DiTの持続的な動き劣化に対処するため、カメラモーションガイダンス(CMG)を導入し、カメラ制御を400%以上向上させる。 提案手法はU-NetモデルとDiTモデルの両方に適用され,ビデオ生成タスクに改良されたカメラ制御を提供する。
  論文  参考訳（メタデータ） (2024-10-14T17:58:07Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• MotionMaster: Training-free Camera Motion Transfer For Video Generation [48.706578330771386]
  本稿では,映像中のカメラの動きと物体の動きをアンハングリングする,トレーニング不要な動画移動モデルを提案する。 我々のモデルは、効果的にカメラオブジェクトの動きを分離し、分離されたカメラの動きを広範囲の制御可能なビデオ生成タスクに適用することができる。
  論文  参考訳（メタデータ） (2024-04-24T10:28:54Z)
• CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
  ユーザーが希望するコンテンツを作成することができるため、ビデオ生成において制御性は重要な役割を担っている。 既存のモデルは、撮影言語として機能するカメラポーズの正確な制御をほとんど見落としていた。 我々は、テキスト・トゥ・ビデオ(T2V)モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:52:41Z)
• Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion [34.404342332033636]
  我々は、カメラのパンやズームの動きだけでなく、複数のオブジェクトのモーションを独立して指定できるシステムであるDirect-a-Videoを紹介した。 カメラの動きの定量的なパラメータを解釈するために,新しい時間的クロスアテンション層を導入する。 どちらのコンポーネントも独立して動作し、個別または複合的な制御を可能にし、オープンドメインシナリオに一般化することができる。
  論文  参考訳（メタデータ） (2024-02-05T16:30:57Z)
• MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
  ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。 本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:49:57Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。