論文の概要: DreamCinema: Cinematic Transfer with Free Camera and 3D Character
- arxiv url: http://arxiv.org/abs/2408.12601v1
- Date: Thu, 22 Aug 2024 17:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 12:52:30.668213
- Title: DreamCinema: Cinematic Transfer with Free Camera and 3D Character
- Title（参考訳）: DreamCinema: 無料カメラと3Dキャラクタによるシネマティックトランスファー
- Authors: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan,
- Abstract要約: 本稿では,生成AIを映画製作パラダイムに進化させる新しい映画転送フレームワークであるDreamCinemaを提案する。
具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。
次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
- 参考スコア（独自算出の注目度）: 11.979669977372707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.
- Abstract（参考訳）: われわれはデジタルメディアの繁栄の時代を生きている。
映画転送に関する現在の研究は、映画製作者が古典的な映像から視覚的要素(例えば、映画撮影やキャラクターの振る舞い)を再現し、操作することを可能にしている。
しかし、リメイクされた映画のキャラクターは依然として手作りに依存しており、技術的な複雑さと高いコストが伴うため、普通のユーザーにとっては実現不可能である。
さらに, フレーム間運動の撮影が不十分で, 物理的軌道のモデル化が不十分なため, 撮影のスムーズさが欠如している。
幸いなことに、2Dと3D AIGCの驚くべき成功により、ユーザのニーズに合った文字を効率的に生成し、撮影を多様化する可能性が開けた。
本稿では,ユーザフレンドリーな映画制作を促進することを目的とした,生成AIを映画制作パラダイムに先駆けた,新しい映画転送フレームワークであるDreamCinemaを提案する。
具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。
次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
最後に,映像生成に生成文字を組み込んだ構造誘導型モーショントランスファー戦略を開発し,それを3Dグラフィックスエンジンでスムーズに転送する。
広汎な実験により,フリーカメラと3Dキャラクタを用いた高品質フィルムの製作の有効性が示された。
関連論文リスト
- Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。
我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。
我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
論文 参考訳（メタデータ） (2024-11-15T21:09:40Z) - ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。
そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。
また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
論文 参考訳（メタデータ） (2024-09-25T20:13:41Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳（メタデータ） (2023-11-29T15:56:58Z) - Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography [23.070207691087827]
実世界のシネマトグラフィーのルールは、監督がカメラをアクターと包括的に同期させることで没入感を生み出すことができることを示している。
この戦略に触発されて,アクターとカメラの3面の同期を可能にするディープカメラ制御フレームワークを提案する。
提案手法は,高品質な没入型撮影映像を定量的かつ質的に生成する。
論文 参考訳（メタデータ） (2023-03-29T22:02:15Z) - AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer
Learning [80.67196184480754]
本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。
新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。
われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
論文 参考訳（メタデータ） (2023-03-24T23:04:20Z) - 3D Cinemagraphy from a Single Image [73.09720823592092]
3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。
静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
論文 参考訳（メタデータ） (2023-03-10T06:08:23Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳（メタデータ） (2023-02-24T18:59:15Z) - Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。
重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。
Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
論文 参考訳（メタデータ） (2021-11-12T20:20:37Z) - Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。
提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。
また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。
パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
論文 参考訳（メタデータ） (2021-08-23T20:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。