論文の概要: One Shot, One Talk: Whole-body Talking Avatar from a Single Image

• arxiv url: http://arxiv.org/abs/2412.01106v1
• Date: Mon, 02 Dec 2024 04:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:40.939583
• Title: One Shot, One Talk: Whole-body Talking Avatar from a Single Image
• Title（参考訳）: ワンショット、ワントーク:1枚の画像から全体でアバターを語る
• Authors: Jun Xiang, Yudong Guo, Leipeng Hu, Boyang Guo, Yancheng Yuan, Juyong Zhang,
• Abstract要約: リアルでアニマタブルなアバターを作るには、マルチビューや単眼で自撮りするビデオが数分必要だ。 本稿では,1)複雑な動的モデリングと2)新しいジェスチャーや表現への一般化という,2つの重要な問題に対処するパイプラインを提案する。 提案手法により,1枚の画像から,写実的で正確にアニマタブルで表現力のある全身会話アバターを作成できる。
• 参考スコア（独自算出の注目度）: 28.932709370417232
• License:
• Abstract: Building realistic and animatable avatars still requires minutes of multi-view or monocular self-rotating videos, and most methods lack precise control over gestures and expressions. To push this boundary, we address the challenge of constructing a whole-body talking avatar from a single image. We propose a novel pipeline that tackles two critical issues: 1) complex dynamic modeling and 2) generalization to novel gestures and expressions. To achieve seamless generalization, we leverage recent pose-guided image-to-video diffusion models to generate imperfect video frames as pseudo-labels. To overcome the dynamic modeling challenge posed by inconsistent and noisy pseudo-videos, we introduce a tightly coupled 3DGS-mesh hybrid avatar representation and apply several key regularizations to mitigate inconsistencies caused by imperfect labels. Extensive experiments on diverse subjects demonstrate that our method enables the creation of a photorealistic, precisely animatable, and expressive whole-body talking avatar from just a single image.
• Abstract（参考訳）: リアルでアニマタブルなアバターを作るには、マルチビューやモノクロの自己回転ビデオが数分必要で、ほとんどの方法はジェスチャーや表情を正確に制御できない。 この境界を推し進めるために,1枚の画像から全身会話アバターを構築するという課題に対処する。 2つの重要な問題に対処する新しいパイプラインを提案する。 1)複雑な動的モデリングとモデリング 2)新しいジェスチャーや表現への一般化。 シームレスな一般化を実現するために、最近のポーズ誘導映像拡散モデルを用いて、不完全なビデオフレームを擬似ラベルとして生成する。 不整合性およびノイズのある擬似ビデオによって生じる動的モデリング課題を克服するために、密結合された3DGS-meshハイブリッドアバター表現を導入し、不完全ラベルによる不整合を軽減するためにいくつかの重要な正規化を適用した。 多様な被験者に対する広範囲な実験により,本手法は,1つの画像から,写実的で正確にアニマタブルで表現力豊かな全身会話アバターを作成できることが実証された。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• GAIA: Zero-shot Talking Avatar Generation [64.78978434650416]
  GAIA(Generative AI for Avatar)を導入し、会話アバター生成におけるドメインの先行性を排除した。 GAIAは、自然性、多様性、リップシンク品質、視覚的品質の点で、これまでのベースラインモデルを上回っている。 汎用的で、制御可能な音声アバター生成やテキストインストラクションされたアバター生成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2023-11-26T08:04:43Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
  光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。 本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T09:28:16Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• Realistic Face Reenactment via Self-Supervised Disentangling of Identity and Pose [23.211318473026243]
  本研究では,大量の未収録映像を自然に再現する自己教師型ハイブリッドモデル(DAE-GAN)を提案する。 提案手法は,2つのデフォーミングオートエンコーダと条件生成の最新の進歩を組み合わせたものである。 実験の結果,再現された画像の良好な品質と,同一性間での顔の動きの伝達の柔軟性が示された。
  論文  参考訳（メタデータ） (2020-03-29T06:45:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。