論文の概要: ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

• arxiv url: http://arxiv.org/abs/2503.11647v1
• Date: Fri, 14 Mar 2025 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:56.965567
• Title: ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
• Title（参考訳）: ReCamMaster:1本のビデオからカメラで調整した生成レンダリング
• Authors: Jianhong Bai, Menghan Xia, Xiao Fu, Xintao Wang, Lianrui Mu, Jinwen Cao, Zuozhu Liu, Haoji Hu, Xiang Bai, Pengfei Wan, Di Zhang,
• Abstract要約: ReCamMasterは、カメラ制御された生成ビデオの再レンダリングフレームワークである。 これは、新しいカメラ軌道における入力ビデオのダイナミックなシーンを再現する。 また,ビデオの安定化,超高解像度化,画質向上に有望な応用を見出した。
• 参考スコア（独自算出の注目度）: 72.42376733537925
• License:
• Abstract: Camera control has been actively studied in text or image conditioned video generation tasks. However, altering camera trajectories of a given video remains under-explored, despite its importance in the field of video creation. It is non-trivial due to the extra constraints of maintaining multiple-frame appearance and dynamic synchronization. To address this, we present ReCamMaster, a camera-controlled generative video re-rendering framework that reproduces the dynamic scene of an input video at novel camera trajectories. The core innovation lies in harnessing the generative capabilities of pre-trained text-to-video models through a simple yet powerful video conditioning mechanism -- its capability often overlooked in current research. To overcome the scarcity of qualified training data, we construct a comprehensive multi-camera synchronized video dataset using Unreal Engine 5, which is carefully curated to follow real-world filming characteristics, covering diverse scenes and camera movements. It helps the model generalize to in-the-wild videos. Lastly, we further improve the robustness to diverse inputs through a meticulously designed training strategy. Extensive experiments tell that our method substantially outperforms existing state-of-the-art approaches and strong baselines. Our method also finds promising applications in video stabilization, super-resolution, and outpainting. Project page: https://jianhongbai.github.io/ReCamMaster/
• Abstract（参考訳）: カメラ制御はテキストや画像条件付きビデオ生成タスクで活発に研究されている。 しかし、ビデオ制作の分野において重要であるにもかかわらず、あるビデオのカメラ軌跡の変更は未発見のままである。 複数フレームの外観と動的同期を維持するという余分な制約があるため、これは自明ではない。 そこで本稿では,新しいカメラトラジェクトリにおける入力映像の動的シーンを再現する,カメラ制御による生成ビデオ再レンダリングフレームワークReCamMasterを提案する。 中心となるイノベーションは、シンプルだが強力なビデオコンディショニング機構を通じて、事前訓練されたテキスト・ツー・ビデオモデルの生成能力を活用することだ。 適格なトレーニングデータの不足を克服するため,Unreal Engine 5 を用いた総合的なマルチカメラ同期ビデオデータセットを構築した。 モデルがWildビデオに一般化するのに役立ちます。 最後に、厳密に設計されたトレーニング戦略により、多様な入力に対する堅牢性をさらに向上する。 大規模な実験により,本手法は既存の最先端手法と強力なベースラインを著しく上回ることがわかった。 また,ビデオの安定化,超高解像度化,画質向上に有望な応用を見出した。 プロジェクトページ:https://jianhongbai.github.io/ReCamMaster/

関連論文リスト

• SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints [43.14498014617223]
  マルチカメラビデオ生成のための事前訓練されたテキスト・ツー・ビデオモデルを強化するプラグイン・アンド・プレイ・モジュールを提案する。 異なる視点における外観と幾何の整合性を維持するために,マルチビュー同期モジュールを導入する。 提案手法は,新しい視点からビデオを再レンダリングするなど,興味をそそる拡張を可能にする。
  論文  参考訳（メタデータ） (2024-12-10T18:55:17Z)
• AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
  カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。 これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-27T18:49:13Z)
• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Training-free Camera Control for Video Generation [15.79168688275606]
  本稿では,市販ビデオ拡散モデルに対して,カメラの動き制御を実現するためのトレーニングフリーで堅牢なソリューションを提案する。 本手法では,カメラ注釈付きデータセットの教師付き微調整やデータ拡張による自己教師型トレーニングは不要である。 ほとんどの事前訓練されたビデオ拡散モデルでプラグイン・アンド・プレイでき、単一の画像またはテキストプロンプトを入力としてカメラ制御可能なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-06-14T15:33:00Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control [70.17137528953953]
  コラボレーション型ビデオ拡散(CVD)は、ビデオ生成のための最先端のカメラ制御モジュール上で訓練される。 CVDは、異なるカメラ軌跡からレンダリングされた複数のビデオを、ベースラインよりもはるかに優れた一貫性で生成する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:01Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。