論文の概要: DreamCinema: Cinematic Transfer with Free Camera and 3D Character
- arxiv url: http://arxiv.org/abs/2408.12601v1
- Date: Thu, 22 Aug 2024 17:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 12:52:30.668213
- Title: DreamCinema: Cinematic Transfer with Free Camera and 3D Character
- Title（参考訳）: DreamCinema: 無料カメラと3Dキャラクタによるシネマティックトランスファー
- Authors: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan,
- Abstract要約: 本稿では,生成AIを映画製作パラダイムに進化させる新しい映画転送フレームワークであるDreamCinemaを提案する。
具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。
次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
- 参考スコア（独自算出の注目度）: 11.979669977372707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.
- Abstract（参考訳）: われわれはデジタルメディアの繁栄の時代を生きている。
映画転送に関する現在の研究は、映画製作者が古典的な映像から視覚的要素(例えば、映画撮影やキャラクターの振る舞い)を再現し、操作することを可能にしている。
しかし、リメイクされた映画のキャラクターは依然として手作りに依存しており、技術的な複雑さと高いコストが伴うため、普通のユーザーにとっては実現不可能である。
さらに, フレーム間運動の撮影が不十分で, 物理的軌道のモデル化が不十分なため, 撮影のスムーズさが欠如している。
幸いなことに、2Dと3D AIGCの驚くべき成功により、ユーザのニーズに合った文字を効率的に生成し、撮影を多様化する可能性が開けた。
本稿では,ユーザフレンドリーな映画制作を促進することを目的とした,生成AIを映画制作パラダイムに先駆けた,新しい映画転送フレームワークであるDreamCinemaを提案する。
具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。
次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
最後に,映像生成に生成文字を組み込んだ構造誘導型モーショントランスファー戦略を開発し,それを3Dグラフィックスエンジンでスムーズに転送する。
広汎な実験により,フリーカメラと3Dキャラクタを用いた高品質フィルムの製作の有効性が示された。
関連論文リスト
- CineMaster: A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation [76.72787726497343]
CineMasterは3D認識と制御可能なテキスト・ビデオ生成のためのフレームワークである。
私たちのゴールは、プロの映画監督と同等のコントロール性を持つユーザーを力づけることです。
論文 参考訳（メタデータ） (2025-02-12T18:55:36Z) - MotionCanvas: Cinematic Shot Design with Controllable Image-to-Video Generation [65.74312406211213]
本稿では,映像生成の文脈で撮影映像を設計する手法を提案する。
I2V合成において,従来のコンピュータグラフィックスと現代映像生成技術からの洞察を結合することにより,3次元動作制御を実現する能力を示す。
論文 参考訳（メタデータ） (2025-02-06T18:41:04Z) - Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
デアバター(De-Avatar)は、モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元人間のアバターをモデリングするための新しいフレームワークである。
論文 参考訳（メタデータ） (2025-01-23T02:31:57Z) - Can video generation replace cinematographers? Research on the cinematic language of generated video [31.0131670022777]
本稿では,制御可能な映像言語を生成するためのT2Vモデルの能力を高めるための3倍のアプローチを提案する。
ショットフレーミング、アングル、カメラの動きを含む映画言語データセットを導入し、様々な映画スタイルを学習できるようにする。
次に、提案したデータセットに基づいて微調整されたモデルであるCameraCLIPを紹介する。
最後に,コスト誘導型動的LoRA合成法であるCLIPLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-16T09:02:24Z) - Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。
従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
論文 参考訳（メタデータ） (2024-11-28T16:01:58Z) - ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。
そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。
また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
論文 参考訳（メタデータ） (2024-09-25T20:13:41Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳（メタデータ） (2023-11-29T15:56:58Z) - Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography [23.070207691087827]
実世界のシネマトグラフィーのルールは、監督がカメラをアクターと包括的に同期させることで没入感を生み出すことができることを示している。
この戦略に触発されて,アクターとカメラの3面の同期を可能にするディープカメラ制御フレームワークを提案する。
提案手法は,高品質な没入型撮影映像を定量的かつ質的に生成する。
論文 参考訳（メタデータ） (2023-03-29T22:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。