論文の概要: The secret of immersion: actor driven camera movement generation for
auto-cinematography
- arxiv url: http://arxiv.org/abs/2303.17041v1
- Date: Wed, 29 Mar 2023 22:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 15:02:32.485327
- Title: The secret of immersion: actor driven camera movement generation for
auto-cinematography
- Title(参考訳): 没入の秘密--オートシネマトグラフィーのためのアクター駆動型カメラ運動生成
- Authors: Xinyi Wu, Haohong Wang and Aggelos K. Katsaggelos
- Abstract要約: 空間的, 感情的, 審美的観点から, 撮影没入感に寄与する具体成分の分析を行った。
本稿では,3次元仮想環境においてアクター駆動型カメラの動きを生成できるGANベースのカメラ制御システムを提案する。
実験結果から,提案するカメラ制御システムは没入型撮影映像を効率よく提供できることが示唆された。
- 参考スコア(独自算出の注目度): 22.29934647227872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Immersion plays a vital role when designing cinematic creations, yet the
difficulty in immersive shooting prevents designers to create satisfactory
outputs. In this work, we analyze the specific components that contribute to
cinematographic immersion considering spatial, emotional, and aesthetic level,
while these components are then combined into a high-level evaluation
mechanism. Guided by such a immersion mechanism, we propose a GAN-based camera
control system that is able to generate actor-driven camera movements in the 3D
virtual environment to obtain immersive film sequences. The proposed
encoder-decoder architecture in the generation flow transfers character motion
into camera trajectory conditioned on an emotion factor. This ensures spatial
and emotional immersion by performing actor-camera synchronization physically
and psychologically. The emotional immersion is further strengthened by
incorporating regularization that controls camera shakiness for expressing
different mental statuses. To achieve aesthetic immersion, we make effort to
improve aesthetic frame compositions by modifying the synthesized camera
trajectory. Based on a self-supervised adjustor, the adjusted camera placements
can project the character to the appropriate on-frame locations following
aesthetic rules. The experimental results indicate that our proposed camera
control system can efficiently offer immersive cinematic videos, both
quantitatively and qualitatively, based on a fine-grained immersive shooting.
Live examples are shown in the supplementary video.
- Abstract(参考訳): 没入は映画作品を設計する際に重要な役割を果たすが、没入撮影の難しさはデザイナーが満足のいくアウトプットを作り出すことを妨げている。
本研究では,空間的,感情的,美的レベルを考慮した撮影没入感に寄与する特定の成分を解析し,これらの成分を高レベル評価機構に結合する。
そこで,このような没入機構を導いた3次元仮想環境において,アクター駆動のカメラ動作を生成できるganベースのカメラ制御システムを提案する。
生成フローにおけるエンコーダ・デコーダアーキテクチャは,感情因子に基づくカメラ軌道にキャラクタ動作を伝達する。
これにより、俳優とカメラの同期を物理的および心理的に行うことで、空間的および感情的な没入が保証される。
感情的な没入は、異なる精神状態を表現するためのカメラシェーキネスを制御する正規化を取り入れることでさらに強化される。
審美的没入を実現するため,合成カメラの軌跡を改良し,審美的フレーム構成を改善する。
自己監視調整装置に基づいて、調整されたカメラ配置は、美的規則に従って、適切なフレーム上の位置にキャラクタを投影することができる。
実験の結果,提案するカメラ制御システムは,細粒度の没入撮影に基づいて,定量的かつ質的に没入的映像を効率的に提供できることがわかった。
ライブの例は補足ビデオで見ることができる。
関連論文リスト
- Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳(メタデータ) (2024-03-20T06:19:41Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳(メタデータ) (2023-11-29T15:56:58Z) - QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse
Sensors [69.75711933065378]
ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。
本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
論文 参考訳(メタデータ) (2023-06-09T04:40:38Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - 3D Moments from Near-Duplicate Photos [67.15199743223332]
3D Momentsは、新しい計算写真効果だ。
1枚目から2枚目までのシーンの動きを円滑に補間するビデオを作成する。
本システムは,モーションパララックスとシーンダイナミックスを併用したフォトリアリスティックな時空ビデオを生成する。
論文 参考訳(メタデータ) (2022-05-12T17:56:18Z) - HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular
Video [44.58519508310171]
我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。
提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
論文 参考訳(メタデータ) (2022-01-11T18:51:21Z) - Dance In the Wild: Monocular Human Animation with Neural Dynamic
Appearance Synthesis [56.550999933048075]
そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。
動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。
提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-11-10T20:18:57Z) - NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。
このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。
特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
論文 参考訳(メタデータ) (2021-10-19T12:51:35Z) - Batteries, camera, action! Learning a semantic control space for
expressive robot cinematography [15.895161373307378]
我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。
まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。
クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
論文 参考訳(メタデータ) (2020-11-19T21:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。