論文の概要: OPHAvatars: One-shot Photo-realistic Head Avatars
- arxiv url: http://arxiv.org/abs/2307.09153v2
- Date: Wed, 19 Jul 2023 01:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 10:56:55.943833
- Title: OPHAvatars: One-shot Photo-realistic Head Avatars
- Title(参考訳): OPHAvatars:ワンショット写真リアリスティックヘッドアバター
- Authors: Shaoxu Li
- Abstract要約: ポートレートが与えられた場合、駆動キーポイント機能を用いて、粗い音声ヘッドビデオを合成する。
粗いアバターのレンダリング画像を用いて,低画質の画像をブラインド顔復元モデルで更新する。
数回繰り返して、本手法は光リアルなアニマタブルな3Dニューラルヘッドアバターを合成することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method for synthesizing photo-realistic digital avatars from
only one portrait as the reference. Given a portrait, our method synthesizes a
coarse talking head video using driving keypoints features. And with the coarse
video, our method synthesizes a coarse talking head avatar with a deforming
neural radiance field. With rendered images of the coarse avatar, our method
updates the low-quality images with a blind face restoration model. With
updated images, we retrain the avatar for higher quality. After several
iterations, our method can synthesize a photo-realistic animatable 3D neural
head avatar. The motivation of our method is deformable neural radiance field
can eliminate the unnatural distortion caused by the image2video method. Our
method outperforms state-of-the-art methods in quantitative and qualitative
studies on various subjects.
- Abstract(参考訳): そこで本研究では,写真に写実的なデジタルアバターを1つのポートレートから合成する方法を提案する。
ポートレートが与えられた場合、駆動キーポイント機能を用いて粗い音声ヘッドビデオを合成する。
そして, この粗い映像を用いて, 粗い発話頭部アバターと, 変形する神経放射野を合成する。
粗いアバターのレンダリング画像を用いて,低品質の画像をブラインド顔復元モデルで更新する。
画像の更新により,高画質でアバターを再訓練する。
複数回繰り返して、この手法はフォトリアリスティックな3dニューラルヘッドアバターを合成することができる。
本手法のモチベーションは,image2video法によって引き起こされる不自然な歪みを除去できる,変形可能な神経放射場である。
本手法は, 各種被験者の定量的, 定性的な研究において, 最先端の手法よりも優れる。
関連論文リスト
- One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。
我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。
提案手法は,従来のアバター適応手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-19T07:48:29Z) - 360{\deg} Volumetric Portrait Avatar [20.94425848146312]
モノクロ映像の入力のみをベースとした360度写真リアルな肖像画アバターの再構築手法を提案する。
得られた実世界のデータに対する我々のアプローチを評価し,最先端のモノクル再構成手法との比較を行った。
論文 参考訳(メタデータ) (2023-12-08T19:00:03Z) - HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。
まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。
テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-06-05T16:53:58Z) - Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions [0.0]
短い単眼のRGBビデオとテキストの命令が与えられた場合、画像条件の拡散モデルを用いて1つのヘッドイメージを編集する。
提案手法は, 変形可能なニューラルラディアンスフィールドヘッド合成法を用いて, 光リアルアニマタブルな3次元ニューラルヘッドアバターを合成する。
論文 参考訳(メタデータ) (2023-06-05T14:10:28Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - READ Avatars: Realistic Emotion-controllable Audio Driven Avatars [11.98034899127065]
本稿では、感情を直接制御したオーディオ入力によって駆動される2次元アバターを生成するための3次元アプローチであるREAD Avatarsを提案する。
従来の手法では、音声から表現マッピングへの多対多の性質のため、現実的なアニメーションを達成できない。
これは回帰モデルによる滑らかな効果を排除し、生成されたアバターの現実性と表現性を改善するのに役立つ。
論文 参考訳(メタデータ) (2023-03-01T18:56:43Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳(メタデータ) (2022-12-16T10:05:31Z) - AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural
Voxels [33.085274792188756]
動作認識型ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。
アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。
提案したAvatarMAVは、最先端の顔再現法よりもはるかに高速な5分で、フォトリアリスティックな頭部アバターを回収することができる。
論文 参考訳(メタデータ) (2022-11-23T18:49:31Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳(メタデータ) (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。