論文の概要: CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion

• arxiv url: http://arxiv.org/abs/2408.17424v1
• Date: Fri, 30 Aug 2024 17:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:36:36.949708
• Title: CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion
• Title（参考訳）: CinePreGen: エンジン駆動拡散によるカメラ制御可能なビデオ前処理
• Authors: Yiran Chen, Anyi Rao, Xuekun Jiang, Shishi Xiao, Ruiqing Ma, Zeyu Wang, Hui Xiong, Bo Dai,
• Abstract要約: CinePreGenは、エンジン駆動の拡散で強化された視覚前処理システムである。 グローバルなカメラ調整からローカルなカメラ調整まで、ダイナミックなコントロールを提供する新しいカメラとストーリーボードインターフェースを備えている。
• 参考スコア（独自算出の注目度）: 29.320516135326546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With advancements in video generative AI models (e.g., SORA), creators are increasingly using these techniques to enhance video previsualization. However, they face challenges with incomplete and mismatched AI workflows. Existing methods mainly rely on text descriptions and struggle with camera placement, a key component of previsualization. To address these issues, we introduce CinePreGen, a visual previsualization system enhanced with engine-powered diffusion. It features a novel camera and storyboard interface that offers dynamic control, from global to local camera adjustments. This is combined with a user-friendly AI rendering workflow, which aims to achieve consistent results through multi-masked IP-Adapter and engine simulation guidelines. In our comprehensive evaluation study, we demonstrate that our system reduces development viscosity (i.e., the complexity and challenges in the development process), meets users' needs for extensive control and iteration in the design process, and outperforms other AI video production workflows in cinematic camera movement, as shown by our experiments and a within-subjects user study. With its intuitive camera controls and realistic rendering of camera motion, CinePreGen shows great potential for improving video production for both individual creators and industry professionals.
• Abstract（参考訳）: ビデオ生成AIモデル(例:SORA)の進歩に伴い、クリエーターはビデオの前向き化を強化するためにこれらの技術を活用している。 しかし、不完全でミスマッチしたAIワークフローでは課題に直面している。 既存の手法は主にテキスト記述に頼り、先入観化の重要な要素であるカメラ配置に苦労する。 これらの問題に対処するために,エンジン駆動拡散により拡張された視覚前処理システムであるCinePreGenを紹介する。 グローバルなカメラ調整からローカルなカメラ調整まで、ダイナミックなコントロールを提供する新しいカメラとストーリーボードインターフェースを備えている。 これは、マルチタスクIP-Adapterとエンジンシミュレーションガイドラインを通じて一貫した結果を達成することを目的とした、ユーザフレンドリなAIレンダリングワークフローと組み合わせられている。 総合的な評価研究において、我々のシステムは、開発粘度(開発プロセスにおける複雑さと課題)を低減し、設計プロセスにおける広範囲な制御とイテレーションに対するユーザの要求を満たすとともに、撮影カメラ運動における他のAIビデオ制作ワークフローよりも優れていることを示す。 直感的なカメラコントロールとリアルなカメラモーションのレンダリングによって、CinePreGenは、個々のクリエイターと業界の専門家の両方にとって、ビデオ制作を改善する大きな可能性を秘めている。

関連論文リスト

• MotionCanvas: Cinematic Shot Design with Controllable Image-to-Video Generation [65.74312406211213]
  本稿では,映像生成の文脈で撮影映像を設計する手法を提案する。 I2V合成において,従来のコンピュータグラフィックスと現代映像生成技術からの洞察を結合することにより,3次元動作制御を実現する能力を示す。
  論文  参考訳（メタデータ） (2025-02-06T18:41:04Z)
• AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
  カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。 これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-27T18:49:13Z)
• ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
  ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。 そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。 また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
  論文  参考訳（メタデータ） (2024-09-25T20:13:41Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
  ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。 RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。 我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
  論文  参考訳（メタデータ） (2024-03-10T03:29:56Z)
• Dynamic Storyboard Generation in an Engine-based Virtual Environment for Video Production [92.14891282042764]
  VDS(Virtual Dynamic Storyboard)を導入し,仮想環境でのストーリーボード撮影を可能にする。 形式化されたストーリースクリプトとカメラスクリプトが入力として与えられたら、いくつかのキャラクターアニメーションとカメラムーブメント提案を生成する。 候補から高品質なダイナミックなストーリーボードをピックアップするために,プロのマニュアル作成データから学習したショット品質基準に基づいて,ショットランキング判別器を装備する。
  論文  参考訳（メタデータ） (2023-01-30T06:37:35Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。