論文の概要: VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
- arxiv url: http://arxiv.org/abs/2303.15893v1
- Date: Tue, 28 Mar 2023 11:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 15:26:41.337574
- Title: VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
- Title（参考訳）: VIVE3D: 3D-Aware GANを用いた視点に依存しないビデオ編集
- Authors: Anna Fr\"uhst\"uck, Nikolaos Sarafianos, Yuanlu Xu, Peter Wonka, Tony
Tung
- Abstract要約: 画像ベースの3D GANをビデオ編集に拡張する新しいアプローチであるVIVE3Dを紹介する。
我々は3D GANの固有の特性によって実現された頭部の新規なビューを示す編集を初めて披露する。
- 参考スコア（独自算出の注目度）: 45.31397724415891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce VIVE3D, a novel approach that extends the capabilities of
image-based 3D GANs to video editing and is able to represent the input video
in an identity-preserving and temporally consistent way. We propose two new
building blocks. First, we introduce a novel GAN inversion technique
specifically tailored to 3D GANs by jointly embedding multiple frames and
optimizing for the camera parameters. Second, besides traditional semantic face
edits (e.g. for age and expression), we are the first to demonstrate edits that
show novel views of the head enabled by the inherent properties of 3D GANs and
our optical flow-guided compositing technique to combine the head with the
background video. Our experiments demonstrate that VIVE3D generates
high-fidelity face edits at consistent quality from a range of camera
viewpoints which are composited with the original video in a temporally and
spatially consistent manner.
- Abstract（参考訳）: VIVE3Dは画像ベースの3D GANをビデオ編集に拡張し、アイデンティティ保存と時間的に一貫した方法で入力された映像を表現できる新しいアプローチである。
我々は2つの新しいビルディングブロックを提案する。
まず,複数のフレームを共同で埋め込み,カメラパラメータを最適化することにより,GANを3D GANに特化させる新しい手法を提案する。
第2に,従来の意味的顔編集(年齢や表情など)の他に,3d ganの固有特性と光フロー誘導合成技術を用いて頭部と背景映像を組み合わせることで,頭部の斬新な視点を示す編集例を初めて紹介する。
実験により, vive3dは, 時間的かつ空間的に一貫した方法でオリジナル映像と合成されたカメラ視点から, 一定品質で高精細な顔編集を生成できることを実証した。
関連論文リスト
- ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。
提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文 参考訳（メタデータ） (2024-09-03T16:53:19Z) - 3DEgo: 3D Editing on the Go! [6.072473323242202]
本稿では,テキストプロンプトで案内されたモノクロ映像から3Dシーンを直接合成する新しい問題に対処する3DEgoを紹介する。
本フレームワークは,従来のマルチステージ3D編集プロセスを一段階のワークフローに合理化する。
3DEgoは、様々なビデオソースの編集精度、速度、適応性を示す。
論文 参考訳（メタデータ） (2024-07-14T07:03:50Z) - Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。
本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。
58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
論文 参考訳（メタデータ） (2024-06-04T17:57:37Z) - Multi-view Inversion for 3D-aware Generative Adversarial Networks [3.95944314850151]
人間の頭部に対する現在の3D GANインバージョン法は、通常、1つの正面像のみを使用して3Dヘッドモデル全体を再構築する。
これにより、マルチビューデータやダイナミックビデオが利用可能になったときに意味のある情報が残される。
提案手法は既存の最先端3D GANインバージョン技術を利用して,同一対象の複数のビューを一貫した同時インバージョンを可能にする。
論文 参考訳（メタデータ） (2023-12-08T19:28:40Z) - Designing a 3D-Aware StyleNeRF Encoder for Face Editing [15.303426697795143]
本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。
提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
論文 参考訳（メタデータ） (2023-02-19T03:32:28Z) - PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。
PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
論文 参考訳（メタデータ） (2022-12-13T05:42:44Z) - 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with
Text-guided Diffusion Models [71.25937799010407]
テキスト誘導拡散モデルを用いて3次元連続生成を実現する。
本研究では3次元局所編集について検討し,2段階の解法を提案する。
モデルを拡張してワンショットのノベルビュー合成を行う。
論文 参考訳（メタデータ） (2022-11-25T13:50:00Z) - 3D GAN Inversion with Pose Optimization [26.140281977885376]
本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。
画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
論文 参考訳（メタデータ） (2022-10-13T19:06:58Z) - 3D-Aware Video Generation [149.5230191060692]
本研究では, 3D 対応ビデオの生成を学習する 4 次元生成敵ネットワーク (GAN) について検討する。
神経暗黙表現と時間認識判別器を組み合わせることで,モノクラービデオのみを教師する3D映像を合成するGANフレームワークを開発した。
論文 参考訳（メタデータ） (2022-06-29T17:56:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。