論文の概要: CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion
- arxiv url: http://arxiv.org/abs/2408.17424v1
- Date: Fri, 30 Aug 2024 17:16:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 14:36:36.949708
- Title: CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion
- Title（参考訳）: CinePreGen: エンジン駆動拡散によるカメラ制御可能なビデオ前処理
- Authors: Yiran Chen, Anyi Rao, Xuekun Jiang, Shishi Xiao, Ruiqing Ma, Zeyu Wang, Hui Xiong, Bo Dai,
- Abstract要約: CinePreGenは、エンジン駆動の拡散で強化された視覚前処理システムである。
グローバルなカメラ調整からローカルなカメラ調整まで、ダイナミックなコントロールを提供する新しいカメラとストーリーボードインターフェースを備えている。
- 参考スコア（独自算出の注目度）: 29.320516135326546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With advancements in video generative AI models (e.g., SORA), creators are increasingly using these techniques to enhance video previsualization. However, they face challenges with incomplete and mismatched AI workflows. Existing methods mainly rely on text descriptions and struggle with camera placement, a key component of previsualization. To address these issues, we introduce CinePreGen, a visual previsualization system enhanced with engine-powered diffusion. It features a novel camera and storyboard interface that offers dynamic control, from global to local camera adjustments. This is combined with a user-friendly AI rendering workflow, which aims to achieve consistent results through multi-masked IP-Adapter and engine simulation guidelines. In our comprehensive evaluation study, we demonstrate that our system reduces development viscosity (i.e., the complexity and challenges in the development process), meets users' needs for extensive control and iteration in the design process, and outperforms other AI video production workflows in cinematic camera movement, as shown by our experiments and a within-subjects user study. With its intuitive camera controls and realistic rendering of camera motion, CinePreGen shows great potential for improving video production for both individual creators and industry professionals.
- Abstract（参考訳）: ビデオ生成AIモデル(例:SORA)の進歩に伴い、クリエーターはビデオの前向き化を強化するためにこれらの技術を活用している。
しかし、不完全でミスマッチしたAIワークフローでは課題に直面している。
既存の手法は主にテキスト記述に頼り、先入観化の重要な要素であるカメラ配置に苦労する。
これらの問題に対処するために,エンジン駆動拡散により拡張された視覚前処理システムであるCinePreGenを紹介する。
グローバルなカメラ調整からローカルなカメラ調整まで、ダイナミックなコントロールを提供する新しいカメラとストーリーボードインターフェースを備えている。
これは、マルチタスクIP-Adapterとエンジンシミュレーションガイドラインを通じて一貫した結果を達成することを目的とした、ユーザフレンドリなAIレンダリングワークフローと組み合わせられている。
総合的な評価研究において、我々のシステムは、開発粘度(開発プロセスにおける複雑さと課題)を低減し、設計プロセスにおける広範囲な制御とイテレーションに対するユーザの要求を満たすとともに、撮影カメラ運動における他のAIビデオ制作ワークフローよりも優れていることを示す。
直感的なカメラコントロールとリアルなカメラモーションのレンダリングによって、CinePreGenは、個々のクリエイターと業界の専門家の両方にとって、ビデオ制作を改善する大きな可能性を秘めている。
関連論文リスト
- ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。
そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。
また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
論文 参考訳（メタデータ） (2024-09-25T20:13:41Z) - VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。
我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
論文 参考訳（メタデータ） (2024-07-17T17:59:05Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z) - Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。
RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。
我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
論文 参考訳（メタデータ） (2024-03-10T03:29:56Z) - TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。
TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。
TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
論文 参考訳（メタデータ） (2023-12-01T15:24:38Z) - Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography [23.070207691087827]
実世界のシネマトグラフィーのルールは、監督がカメラをアクターと包括的に同期させることで没入感を生み出すことができることを示している。
この戦略に触発されて,アクターとカメラの3面の同期を可能にするディープカメラ制御フレームワークを提案する。
提案手法は,高品質な没入型撮影映像を定量的かつ質的に生成する。
論文 参考訳（メタデータ） (2023-03-29T22:02:15Z) - Dynamic Storyboard Generation in an Engine-based Virtual Environment for
Video Production [92.14891282042764]
VDS(Virtual Dynamic Storyboard)を導入し,仮想環境でのストーリーボード撮影を可能にする。
形式化されたストーリースクリプトとカメラスクリプトが入力として与えられたら、いくつかのキャラクターアニメーションとカメラムーブメント提案を生成する。
候補から高品質なダイナミックなストーリーボードをピックアップするために,プロのマニュアル作成データから学習したショット品質基準に基づいて,ショットランキング判別器を装備する。
論文 参考訳（メタデータ） (2023-01-30T06:37:35Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。