論文の概要: Generalizable One-shot Neural Head Avatar

• arxiv url: http://arxiv.org/abs/2306.08768v1
• Date: Wed, 14 Jun 2023 22:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 17:13:55.619651
• Title: Generalizable One-shot Neural Head Avatar
• Title（参考訳）: 一般化可能なワンショットニューラルヘッドアバター
• Authors: Xueting Li, Shalini De Mello, Sifei Liu, Koki Nagano, Umar Iqbal, Jan Kautz
• Abstract要約: 本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 90.50492165284724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method that reconstructs and animates a 3D head avatar from a single-view portrait image. Existing methods either involve time-consuming optimization for a specific person with multiple images, or they struggle to synthesize intricate appearance details beyond the facial region. To address these limitations, we propose a framework that not only generalizes to unseen identities based on a single-view image without requiring person-specific optimization, but also captures characteristic details within and beyond the face area (e.g. hairstyle, accessories, etc.). At the core of our method are three branches that produce three tri-planes representing the coarse 3D geometry, detailed appearance of a source image, as well as the expression of a target image. By applying volumetric rendering to the combination of the three tri-planes followed by a super-resolution module, our method yields a high fidelity image of the desired identity, expression and pose. Once trained, our model enables efficient 3D head avatar reconstruction and animation via a single forward pass through a network. Experiments show that the proposed approach generalizes well to unseen validation datasets, surpassing SOTA baseline methods by a large margin on head avatar reconstruction and animation.
• Abstract（参考訳）: 本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 既存の方法は、複数の画像を持つ特定の人の時間的最適化や、顔領域を超えて複雑な外観の詳細を合成するのに苦労する。 これらの制限に対処するために、人物固有の最適化を必要とせず、一視点画像に基づく識別不能に一般化するだけでなく、顔領域内外の特徴詳細(髪型、アクセサリーなど)をキャプチャする枠組みを提案する。 提案手法のコアとなるのは, 粗い3次元形状, ソース画像の詳細な外観, ターゲット画像の表現を表す3つの三面体を生成する3つの枝である。 3つの三面体と超解像モジュールの組み合わせにボリュームレンダリングを適用することにより、所望のアイデンティティ、表現、ポーズの忠実度の高い画像が得られる。 トレーニングを終えると、ネットワークを1つのフォワードパスで効率的な3d頭部アバターの再構築とアニメーションが可能になる。 実験により,提案手法は未発見の検証データセットによく一般化し,頭部アバターの再構成とアニメーションにおいてsotaベースライン法を大きなマージンで上回った。

関連論文リスト

• Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance [69.9745497000557]
  本稿では,人間の顔の基盤モデルを用いた最初のSDSベースの手法であるArc2Avatarについて述べる。 我々のアバターは人間の顔メッシュテンプレートとの密接な対応を維持しており、ブレンドシェープによる表現生成を可能にしている。
  論文  参考訳（メタデータ） (2025-01-09T17:04:33Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。