論文の概要: Encode-in-Style: Latent-based Video Encoding using StyleGAN2
- arxiv url: http://arxiv.org/abs/2203.14512v1
- Date: Mon, 28 Mar 2022 05:44:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 04:53:44.327284
- Title: Encode-in-Style: Latent-based Video Encoding using StyleGAN2
- Title(参考訳): Encode-in-Style: StyleGAN2を用いた潜在型ビデオ符号化
- Authors: Trevine Oorloff, Yaser Yacoob
- Abstract要約: 本稿では,データ効率のよい高品質な映像再生を実現するために,エンドツーエンドの顔画像符号化手法を提案する。
このアプローチは、StyleGAN2イメージインバージョンとマルチステージの非線形遅延空間編集に基づいて、入力ビデオにほぼ匹敵するビデオを生成する。
- 参考スコア(独自算出の注目度): 0.7614628596146599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an end-to-end facial video encoding approach that facilitates
data-efficient high-quality video re-synthesis by optimizing low-dimensional
edits of a single Identity-latent. The approach builds on StyleGAN2 image
inversion and multi-stage non-linear latent-space editing to generate videos
that are nearly comparable to input videos. It economically captures face
identity, head-pose, and complex facial motions at fine levels, and thereby
bypasses training and person modeling which tend to hamper many re-synthesis
approaches. The approach is designed with maximum data efficiency, where a
single W+ latent and 35 parameters per frame enable high-fidelity video
rendering. This pipeline can also be used for puppeteering (i.e., motion
transfer).
- Abstract(参考訳): 本稿では,1つのアイデンティティラテントの低次元編集を最適化することにより,データ効率のよい高品質な映像再生を容易にする。
このアプローチは、StyleGAN2イメージインバージョンとマルチステージの非線形遅延空間編集に基づいて、入力ビデオにほぼ匹敵するビデオを生成する。
経済的には、顔のアイデンティティ、ヘッドポジション、複雑な顔の動きを微妙に捉え、それによって多くの再合成アプローチを妨げる訓練や人体モデリングをバイパスする。
このアプローチは最大データ効率で設計されており、1フレームあたりのW+遅延値と35パラメータが高忠実度ビデオレンダリングを可能にする。
このパイプラインは、操舵(運動移動)にも使用できる。
関連論文リスト
- I4VGen: Image as Stepping Stone for Text-to-Video Generation [22.3850273729521]
I4VGenは、トレーニングフリーでプラグアンドプレイのビデオ拡散推論フレームワークである。
堅牢な画像技術を活用することで、テキスト・ビデオ生成を強化する。
I4VGenは、より高いビジュアルリアリズムとテキスト忠実度を持つビデオを生成する。
論文 参考訳(メタデータ) (2024-06-04T11:48:44Z) - Hybrid Video Diffusion Models with 2D Triplane and 3D Wavelet Representation [35.52770785430601]
複雑な依存関係をより効率的にキャプチャできるHVtemporalDMというハイブリッドビデオオートエンコーダを提案する。
HVDMは、ビデオの歪んだ表現を抽出するハイブリッドビデオオートエンコーダによって訓練される。
当社のハイブリッドオートエンコーダは、生成されたビデオに詳細な構造と詳細を付加した、より包括的なビデオラテントを提供します。
論文 参考訳(メタデータ) (2024-02-21T11:46:16Z) - Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。
本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。
筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
論文 参考訳(メタデータ) (2024-02-05T16:30:49Z) - RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane
Networks [63.84589410872608]
本研究では,長期的空間的および時間的依存に対処する新しい非条件ビデオ生成モデルを提案する。
提案手法は計算複雑性をFLOPの測定値として2ドル程度削減する。
我々のモデルは高精細度ビデオクリップを256時間256ドルピクセルの解像度で合成でき、フレームレート30fpsで5ドル以上まで持続する。
論文 参考訳(メタデータ) (2024-01-11T16:48:44Z) - A Simple Recipe for Contrastively Pre-training Video-First Encoders
Beyond 16 Frames [54.90226700939778]
我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。
1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
論文 参考訳(メタデータ) (2023-12-12T16:10:19Z) - GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - I2VGen-XL: High-Quality Image-to-Video Synthesis via Cascaded Diffusion
Models [54.99771394322512]
ビデオ合成は拡散モデルの急速な発展の恩恵を受け、近年顕著な進歩を遂げている。
意味的正確性、明快さ、連続性-時間的連続性という観点ではまだ遭遇に挑戦する。
これら2つの要素を分離することでモデル性能を向上させるカスケードI2VGen-XL手法を提案する。
I2VGen-XLは、生成したビデオの意味的精度、詳細の連続性、明快さを同時に向上させることができる。
論文 参考訳(メタデータ) (2023-11-07T17:16:06Z) - StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via
Pretrained StyleGAN [49.917296433657484]
ワンショット・トーキング・フェイス・ジェネレーションは、任意のポートレート画像から高品質なトーキング・フェイス・ビデオを合成することを目的としている。
本研究では,事前学習したStyleGANの潜在特徴空間について検討し,優れた空間変換特性について考察する。
本稿では,事前学習したStyleGANをベースとした,強力な機能セットを実現する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-08T12:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。