論文の概要: GAIA: Zero-shot Talking Avatar Generation
- arxiv url: http://arxiv.org/abs/2311.15230v2
- Date: Thu, 14 Mar 2024 11:49:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 02:12:48.800151
- Title: GAIA: Zero-shot Talking Avatar Generation
- Title（参考訳）: GAIA:ゼロショットトーキングアバター世代
- Authors: Tianyu He, Junliang Guo, Runyi Yu, Yuchi Wang, Jialiang Zhu, Kaikai An, Leyi Li, Xu Tan, Chunyu Wang, Han Hu, HsiangTao Wu, Sheng Zhao, Jiang Bian,
- Abstract要約: GAIA(Generative AI for Avatar)を導入し、会話アバター生成におけるドメインの先行性を排除した。
GAIAは、自然性、多様性、リップシンク品質、視覚的品質の点で、これまでのベースラインモデルを上回っている。
汎用的で、制御可能な音声アバター生成やテキストインストラクションされたアバター生成など、さまざまなアプリケーションを可能にする。
- 参考スコア（独自算出の注目度）: 64.78978434650416
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Zero-shot talking avatar generation aims at synthesizing natural talking videos from speech and a single portrait image. Previous methods have relied on domain-specific heuristics such as warping-based motion representation and 3D Morphable Models, which limit the naturalness and diversity of the generated avatars. In this work, we introduce GAIA (Generative AI for Avatar), which eliminates the domain priors in talking avatar generation. In light of the observation that the speech only drives the motion of the avatar while the appearance of the avatar and the background typically remain the same throughout the entire video, we divide our approach into two stages: 1) disentangling each frame into motion and appearance representations; 2) generating motion sequences conditioned on the speech and reference portrait image. We collect a large-scale high-quality talking avatar dataset and train the model on it with different scales (up to 2B parameters). Experimental results verify the superiority, scalability, and flexibility of GAIA as 1) the resulting model beats previous baseline models in terms of naturalness, diversity, lip-sync quality, and visual quality; 2) the framework is scalable since larger models yield better results; 3) it is general and enables different applications like controllable talking avatar generation and text-instructed avatar generation.
- Abstract（参考訳）: ゼロショット音声アバター生成は、音声と1枚のポートレート画像から自然な会話ビデオを合成することを目的としている。
従来の手法は、ワーピングに基づく運動表現や3次元モルファブルモデルといったドメイン固有のヒューリスティックに依存しており、生成したアバターの自然性と多様性を制限している。
本研究ではGAIA(Generative AI for Avatar)を紹介する。
音声がアバターの動きのみを駆動するのに対して、アバターと背景の外観はビデオ全体を通して通常同じであり、我々のアプローチは2つの段階に分けられる。
1) 各フレームを動作及び外観表現に切り離す。
2) 音声および参照ポートレート画像に条件付けされた動き系列を生成する。
大規模な高品質な音声アバターデータセットを収集し、異なるスケール(最大2Bパラメータ)でモデルをトレーニングします。
GAIAの優越性,スケーラビリティ,柔軟性を検証した実験結果
1) 結果のモデルは,自然性,多様性,リップシンク品質,視覚的品質の点で,従来のベースラインモデルを上回る。
2) より大きなモデルはより良い結果をもたらすので、フレームワークはスケーラブルです。
3) 汎用的で, 制御可能な音声アバター生成やテキスト指示アバター生成など, 様々な応用が可能である。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。
本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:52:03Z) - NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。
我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。
提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
論文 参考訳（メタデータ） (2024-05-29T17:58:09Z) - GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。
この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
論文 参考訳（メタデータ） (2024-04-02T17:58:35Z) - DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。
生成の多様性と視覚的品質を達成するための2つの重要な設計がある。
大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
論文 参考訳（メタデータ） (2024-02-27T08:10:31Z) - Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video [14.140380599168628]
ReCaLaBは、単一のRGBビデオから高忠実な3Dアバターを学習するパイプラインだ。
ポーズ条件のNeRFは、人間の対象を標準的T目的で容積的に表現するように最適化される。
これにより、画像条件付き拡散モデルにより、3Dアバターの外観とポーズをアニメーション化し、これまで見えなかった人間の動きを伴う映像シーケンスを作成することができる。
論文 参考訳（メタデータ） (2023-12-08T01:53:06Z) - AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars
Using 2D Diffusion [34.609403685504944]
ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。
我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。
また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
論文 参考訳（メタデータ） (2023-07-13T02:19:56Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳（メタデータ） (2023-06-16T14:18:51Z) - OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane
Rendering [81.55960827071661]
制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。
汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
論文 参考訳（メタデータ） (2023-03-26T09:12:03Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-08-01T01:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。