論文の概要: VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
- arxiv url: http://arxiv.org/abs/2303.15893v1
- Date: Tue, 28 Mar 2023 11:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 15:26:41.337574
- Title: VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
- Title(参考訳): VIVE3D: 3D-Aware GANを用いた視点に依存しないビデオ編集
- Authors: Anna Fr\"uhst\"uck, Nikolaos Sarafianos, Yuanlu Xu, Peter Wonka, Tony
Tung
- Abstract要約: 画像ベースの3D GANをビデオ編集に拡張する新しいアプローチであるVIVE3Dを紹介する。
我々は3D GANの固有の特性によって実現された頭部の新規なビューを示す編集を初めて披露する。
- 参考スコア(独自算出の注目度): 45.31397724415891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce VIVE3D, a novel approach that extends the capabilities of
image-based 3D GANs to video editing and is able to represent the input video
in an identity-preserving and temporally consistent way. We propose two new
building blocks. First, we introduce a novel GAN inversion technique
specifically tailored to 3D GANs by jointly embedding multiple frames and
optimizing for the camera parameters. Second, besides traditional semantic face
edits (e.g. for age and expression), we are the first to demonstrate edits that
show novel views of the head enabled by the inherent properties of 3D GANs and
our optical flow-guided compositing technique to combine the head with the
background video. Our experiments demonstrate that VIVE3D generates
high-fidelity face edits at consistent quality from a range of camera
viewpoints which are composited with the original video in a temporally and
spatially consistent manner.
- Abstract(参考訳): VIVE3Dは画像ベースの3D GANをビデオ編集に拡張し、アイデンティティ保存と時間的に一貫した方法で入力された映像を表現できる新しいアプローチである。
我々は2つの新しいビルディングブロックを提案する。
まず,複数のフレームを共同で埋め込み,カメラパラメータを最適化することにより,GANを3D GANに特化させる新しい手法を提案する。
第2に,従来の意味的顔編集(年齢や表情など)の他に,3d ganの固有特性と光フロー誘導合成技術を用いて頭部と背景映像を組み合わせることで,頭部の斬新な視点を示す編集例を初めて紹介する。
実験により, vive3dは, 時間的かつ空間的に一貫した方法でオリジナル映像と合成されたカメラ視点から, 一定品質で高精細な顔編集を生成できることを実証した。
関連論文リスト
- Multi-view Inversion for 3D-aware Generative Adversarial Networks [3.95944314850151]
人間の頭部に対する現在の3D GANインバージョン法は、通常、1つの正面像のみを使用して3Dヘッドモデル全体を再構築する。
これにより、マルチビューデータやダイナミックビデオが利用可能になったときに意味のある情報が残される。
提案手法は既存の最先端3D GANインバージョン技術を利用して,同一対象の複数のビューを一貫した同時インバージョンを可能にする。
論文 参考訳(メタデータ) (2023-12-08T19:28:40Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳(メタデータ) (2023-11-29T15:56:58Z) - 3D-Aware Talking-Head Video Motion Transfer [20.135083791297603]
本稿では3D対応の対話型ビデオモーション転送ネットワークであるHead3Dを提案する。
Head3Dは、2Dの被写体フレームから視覚的に解釈可能な3Dカノニカルヘッドを生成することにより、被写体外観情報を利用する。
Head3Dは2Dと3Dの先行技術より優れています。
論文 参考訳(メタデータ) (2023-11-05T02:50:45Z) - Designing a 3D-Aware StyleNeRF Encoder for Face Editing [15.303426697795143]
本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。
提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
論文 参考訳(メタデータ) (2023-02-19T03:32:28Z) - Text-To-4D Dynamic Scene Generation [111.89517759596345]
テキスト記述から3次元動的シーンを生成するMAV3D(Make-A-Video3D)を提案する。
提案手法では, シーンの外観, 密度, 動きの整合性に最適化された4次元動的ニューラルラジアンス場(NeRF)を用いる。
提供されるテキストから出力されるダイナミックビデオは、任意のカメラの位置と角度から見ることができ、任意の3D環境に合成することができる。
論文 参考訳(メタデータ) (2023-01-26T18:14:32Z) - PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。
PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
論文 参考訳(メタデータ) (2022-12-13T05:42:44Z) - 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with
Text-guided Diffusion Models [71.25937799010407]
テキスト誘導拡散モデルを用いて3次元連続生成を実現する。
本研究では3次元局所編集について検討し,2段階の解法を提案する。
モデルを拡張してワンショットのノベルビュー合成を行う。
論文 参考訳(メタデータ) (2022-11-25T13:50:00Z) - 3D GAN Inversion with Pose Optimization [26.140281977885376]
本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。
画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
論文 参考訳(メタデータ) (2022-10-13T19:06:58Z) - 3D-Aware Video Generation [149.5230191060692]
本研究では, 3D 対応ビデオの生成を学習する 4 次元生成敵ネットワーク (GAN) について検討する。
神経暗黙表現と時間認識判別器を組み合わせることで,モノクラービデオのみを教師する3D映像を合成するGANフレームワークを開発した。
論文 参考訳(メタデータ) (2022-06-29T17:56:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。