論文の概要: GPAvatar: Generalizable and Precise Head Avatar from Image(s)
- arxiv url: http://arxiv.org/abs/2401.10215v1
- Date: Thu, 18 Jan 2024 18:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 15:21:20.677180
- Title: GPAvatar: Generalizable and Precise Head Avatar from Image(s)
- Title(参考訳): gpavatar:画像による頭部アバターの一般化と高精度化
- Authors: Xuangeng Chu, Yu Li, Ailing Zeng, Tianyu Yang, Lijian Lin, Yunfei Liu,
Tatsuya Harada
- Abstract要約: GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。
提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
- 参考スコア(独自算出の注目度): 71.555405205039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Head avatar reconstruction, crucial for applications in virtual reality,
online meetings, gaming, and film industries, has garnered substantial
attention within the computer vision community. The fundamental objective of
this field is to faithfully recreate the head avatar and precisely control
expressions and postures. Existing methods, categorized into 2D-based warping,
mesh-based, and neural rendering approaches, present challenges in maintaining
multi-view consistency, incorporating non-facial information, and generalizing
to new identities. In this paper, we propose a framework named GPAvatar that
reconstructs 3D head avatars from one or several images in a single forward
pass. The key idea of this work is to introduce a dynamic point-based
expression field driven by a point cloud to precisely and effectively capture
expressions. Furthermore, we use a Multi Tri-planes Attention (MTA) fusion
module in the tri-planes canonical field to leverage information from multiple
input images. The proposed method achieves faithful identity reconstruction,
precise expression control, and multi-view consistency, demonstrating promising
results for free-viewpoint rendering and novel view synthesis.
- Abstract(参考訳): 仮想現実、オンライン会議、ゲーム、映画産業のアプリケーションで不可欠なヘッドアバターの再構築は、コンピュータビジョンコミュニティでかなりの注目を集めている。
この分野の基本的な目的は、頭部アバターを忠実に再現し、表現と姿勢を正確に制御することである。
既存の手法は、2Dベースのワープ、メッシュベース、ニューラルレンダリングアプローチに分類され、マルチビューの一貫性維持、非インターフェース情報の導入、新しいアイデンティティへの一般化といった課題を提示している。
本稿では,1回または複数の画像から3d頭部アバターを1回のフォワードパスで再構築するgpavatarというフレームワークを提案する。
この研究の重要なアイデアは、ポイントクラウドによって駆動される動的ポイントベースの表現フィールドを導入し、正確に効果的に表現をキャプチャすることである。
さらに,マルチ・トライプレーンズ・アテンション(mta)融合モジュールをトリプレーンズ・カノニカル・フィールドに導入し,複数の入力画像からの情報を活用した。
提案手法は, 忠実なアイデンティティ再構築, 正確な表現制御, マルチビュー整合性を実現し, 自由視点レンダリングと新規ビュー合成のための有望な結果を示す。
関連論文リスト
- InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [39.84321605007352]
本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。
本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。
提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
論文 参考訳(メタデータ) (2023-12-03T18:59:15Z) - NOFA: NeRF-based One-shot Facial Avatar Reconstruction [45.11455702291703]
3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。
本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-07T07:58:18Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane
Rendering [81.55960827071661]
制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。
汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
論文 参考訳(メタデータ) (2023-03-26T09:12:03Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - AvatarCap: Animatable Avatar Conditioned Monocular Human Volumetric
Capture [36.10436374741757]
AvatarCapは、目に見える領域と見えない領域の両方で高忠実な再構築のために、キャプチャパイプラインにアニマタブルなアバターを導入する、新しいフレームワークである。
本手法は, 画像観察とアバターの両方からの情報を統合し, 高忠実度3次元テクスチャモデルを視認性に関係なく動的に再構成する。
論文 参考訳(メタデータ) (2022-07-05T13:21:01Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳(メタデータ) (2021-04-09T23:17:36Z) - PVA: Pixel-aligned Volumetric Avatars [34.929560973779466]
少数の入力から人間の頭部の体積アバターを予測するための新しいアプローチを考案する。
提案手法は,光度再レンダリングによる損失のみを前提としたエンドツーエンドで,明示的な3次元監視を必要とせずに訓練を行う。
論文 参考訳(メタデータ) (2021-01-07T18:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。