論文の概要: I M Avatar: Implicit Morphable Head Avatars from Videos

• arxiv url: http://arxiv.org/abs/2112.07471v1
• Date: Tue, 14 Dec 2021 15:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 15:58:42.014469
• Title: I M Avatar: Implicit Morphable Head Avatars from Videos
• Title（参考訳）: imアバター:ビデオからの暗黙の変形可能な頭部アバター
• Authors: Yufeng Zheng, Victoria Fern\'andez Abrevaya, Xu Chen, Marcel C. B\"uhler, Michael J. Black, Otmar Hilliges
• Abstract要約: モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
• 参考スコア（独自算出の注目度）: 68.13409777995392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional morphable face models provide fine-grained control over expression but cannot easily capture geometric and appearance details. Neural volumetric representations approach photo-realism but are hard to animate and do not generalize well to unseen expressions. To tackle this problem, we propose IMavatar (Implicit Morphable avatar), a novel method for learning implicit head avatars from monocular videos. Inspired by the fine-grained control mechanisms afforded by conventional 3DMMs, we represent the expression- and pose-related deformations via learned blendshapes and skinning fields. These attributes are pose-independent and can be used to morph the canonical geometry and texture fields given novel expression and pose parameters. We employ ray tracing and iterative root-finding to locate the canonical surface intersection for each pixel. A key contribution is our novel analytical gradient formulation that enables end-to-end training of IMavatars from videos. We show quantitatively and qualitatively that our method improves geometry and covers a more complete expression space compared to state-of-the-art methods.
• Abstract（参考訳）: 従来の変形可能な顔モデルは、表現のきめ細かい制御を提供するが、幾何学的および外観的詳細を簡単に捉えられない。 ニューラルボリューム表現はフォトリアリズムに近づくが、アニメーション化が困難であり、目に見えない表現にうまく一般化しない。 そこで本研究では,単眼ビデオから暗黙的な頭部アバターを学習する新しい手法であるimavatar(implicit morphable avatar)を提案する。 従来の3dmmで得られる細粒度制御機構に着想を得て, ブレンド形状とスキンフィールドによる表現とポーズ関連変形を表現した。 これらの属性はポーズ非依存であり、新しい表現とポーズパラメータを与えられた標準幾何学とテクスチャ場を変形させるのに使用できる。 レイトレーシングと反復ルート探索を用いて,各画素の正準面交点を探索する。 ビデオからIMavatarのエンドツーエンドのトレーニングを可能にする新しい解析的勾配定式化が重要な貢献である。 本手法が幾何学を改良し,最先端手法と比較してより完全な表現空間をカバーすることを定量的・定性的に示す。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
  本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。 この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
  論文  参考訳（メタデータ） (2024-04-02T17:58:35Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Neural Head Avatars from Monocular RGB Videos [0.0]
  アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
  論文  参考訳（メタデータ） (2021-12-02T19:01:05Z)
• VariTex: Variational Neural Face Textures [0.0]
  VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。 頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。 その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
  論文  参考訳（メタデータ） (2021-04-13T07:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。