論文の概要: The secret of immersion: actor driven camera movement generation for auto-cinematography

• arxiv url: http://arxiv.org/abs/2303.17041v2
• Date: Tue, 23 May 2023 23:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:32:06.407295
• Title: The secret of immersion: actor driven camera movement generation for auto-cinematography
• Title（参考訳）: 没入の秘密--オートシネマトグラフィーのためのアクター駆動型カメラ運動生成
• Authors: Xinyi Wu, Haohong Wang and Aggelos K. Katsaggelos
• Abstract要約: 空間的, 感情的, 審美的観点から, 撮影没入感に寄与する具体成分の分析を行った。 本稿では,3次元仮想環境においてアクター駆動型カメラの動きを生成できるGANベースのカメラ制御システムを提案する。 実験結果から,提案するカメラ制御システムは没入型撮影映像を効率よく提供できることが示唆された。
• 参考スコア（独自算出の注目度）: 22.29934647227872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Immersion plays a vital role when designing cinematic creations, yet the difficulty in immersive shooting prevents designers to create satisfactory outputs. In this work, we analyze the specific components that contribute to cinematographic immersion considering spatial, emotional, and aesthetic level, while these components are then combined into a high-level evaluation mechanism. Guided by such a immersion mechanism, we propose a GAN-based camera control system that is able to generate actor-driven camera movements in the 3D virtual environment to obtain immersive film sequences. The proposed encoder-decoder architecture in the generation flow transfers character motion into camera trajectory conditioned on an emotion factor. This ensures spatial and emotional immersion by performing actor-camera synchronization physically and psychologically. The emotional immersion is further strengthened by incorporating regularization that controls camera shakiness for expressing different mental statuses. To achieve aesthetic immersion, we make effort to improve aesthetic frame compositions by modifying the synthesized camera trajectory. Based on a self-supervised adjustor, the adjusted camera placements can project the character to the appropriate on-frame locations following aesthetic rules. The experimental results indicate that our proposed camera control system can efficiently offer immersive cinematic videos, both quantitatively and qualitatively, based on a fine-grained immersive shooting. Live examples are shown in the supplementary video.
• Abstract（参考訳）: 没入は映画作品を設計する際に重要な役割を果たすが、没入撮影の難しさはデザイナーが満足のいくアウトプットを作り出すことを妨げている。 本研究では,空間的,感情的,美的レベルを考慮した撮影没入感に寄与する特定の成分を解析し,これらの成分を高レベル評価機構に結合する。 そこで,このような没入機構を導いた3次元仮想環境において,アクター駆動のカメラ動作を生成できるganベースのカメラ制御システムを提案する。 生成フローにおけるエンコーダ・デコーダアーキテクチャは,感情因子に基づくカメラ軌道にキャラクタ動作を伝達する。 これにより、俳優とカメラの同期を物理的および心理的に行うことで、空間的および感情的な没入が保証される。 感情的な没入は、異なる精神状態を表現するためのカメラシェーキネスを制御する正規化を取り入れることでさらに強化される。 審美的没入を実現するため,合成カメラの軌跡を改良し,審美的フレーム構成を改善する。 自己監視調整装置に基づいて、調整されたカメラ配置は、美的規則に従って、適切なフレーム上の位置にキャラクタを投影することができる。 実験の結果,提案するカメラ制御システムは,細粒度の没入撮影に基づいて,定量的かつ質的に没入的映像を効率的に提供できることがわかった。 ライブの例は補足ビデオで見ることができる。

関連論文リスト

• ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
  ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。 そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。 また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
  論文  参考訳（メタデータ） (2024-09-25T20:13:41Z)
• DreamCinema: Cinematic Transfer with Free Camera and 3D Character [11.979669977372707]
  本稿では,生成AIを映画製作パラダイムに進化させる新しい映画転送フレームワークであるDreamCinemaを提案する。 具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。 次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:44Z)
• MotionBooth: Motion-Aware Customized Text-to-Video Generation [44.41894050494623]
  MotionBoothは、オブジェクトとカメラの両方の動きを正確に制御して、カスタマイズされた被験者をアニメーションするためのフレームワークである。 オブジェクトの形状や属性を正確に把握するために,テキスト・ビデオ・モデルを効率的に微調整する。 提案手法は,被験者の学習能力を高めるために,被写体領域の損失とビデオ保存損失を示す。
  論文  参考訳（メタデータ） (2024-06-25T17:42:25Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
  動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。 具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
  論文  参考訳（メタデータ） (2023-04-04T11:25:44Z)
• 3D Moments from Near-Duplicate Photos [67.15199743223332]
  3D Momentsは、新しい計算写真効果だ。 1枚目から2枚目までのシーンの動きを円滑に補間するビデオを作成する。 本システムは,モーションパララックスとシーンダイナミックスを併用したフォトリアリスティックな時空ビデオを生成する。
  論文  参考訳（メタデータ） (2022-05-12T17:56:18Z)
• Batteries, camera, action! Learning a semantic control space for expressive robot cinematography [15.895161373307378]
  我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。 まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。 クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
  論文  参考訳（メタデータ） (2020-11-19T21:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。