論文の概要: OPHAvatars: One-shot Photo-realistic Head Avatars

• arxiv url: http://arxiv.org/abs/2307.09153v2
• Date: Wed, 19 Jul 2023 01:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 10:56:55.943833
• Title: OPHAvatars: One-shot Photo-realistic Head Avatars
• Title（参考訳）: OPHAvatars:ワンショット写真リアリスティックヘッドアバター
• Authors: Shaoxu Li
• Abstract要約: ポートレートが与えられた場合、駆動キーポイント機能を用いて、粗い音声ヘッドビデオを合成する。 粗いアバターのレンダリング画像を用いて,低画質の画像をブラインド顔復元モデルで更新する。 数回繰り返して、本手法は光リアルなアニマタブルな3Dニューラルヘッドアバターを合成することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for synthesizing photo-realistic digital avatars from only one portrait as the reference. Given a portrait, our method synthesizes a coarse talking head video using driving keypoints features. And with the coarse video, our method synthesizes a coarse talking head avatar with a deforming neural radiance field. With rendered images of the coarse avatar, our method updates the low-quality images with a blind face restoration model. With updated images, we retrain the avatar for higher quality. After several iterations, our method can synthesize a photo-realistic animatable 3D neural head avatar. The motivation of our method is deformable neural radiance field can eliminate the unnatural distortion caused by the image2video method. Our method outperforms state-of-the-art methods in quantitative and qualitative studies on various subjects.
• Abstract（参考訳）: そこで本研究では,写真に写実的なデジタルアバターを1つのポートレートから合成する方法を提案する。 ポートレートが与えられた場合、駆動キーポイント機能を用いて粗い音声ヘッドビデオを合成する。 そして, この粗い映像を用いて, 粗い発話頭部アバターと, 変形する神経放射野を合成する。 粗いアバターのレンダリング画像を用いて,低品質の画像をブラインド顔復元モデルで更新する。 画像の更新により,高画質でアバターを再訓練する。 複数回繰り返して、この手法はフォトリアリスティックな3dニューラルヘッドアバターを合成することができる。 本手法のモチベーションは,image2video法によって引き起こされる不自然な歪みを除去できる,変形可能な神経放射場である。 本手法は, 各種被験者の定量的, 定性的な研究において, 最先端の手法よりも優れる。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
  本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。 我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。 提案手法は,従来のアバター適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T07:48:29Z)
• 360{\deg} Volumetric Portrait Avatar [20.94425848146312]
  モノクロ映像の入力のみをベースとした360度写真リアルな肖像画アバターの再構築手法を提案する。 得られた実世界のデータに対する我々のアプローチを評価し,最先端のモノクル再構成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-12-08T19:00:03Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• Instruct-Video2Avatar: Video-to-Avatar Generation with Instructions [0.0]
  短い単眼のRGBビデオとテキストの命令が与えられた場合、画像条件の拡散モデルを用いて1つのヘッドイメージを編集する。 提案手法は, 変形可能なニューラルラディアンスフィールドヘッド合成法を用いて, 光リアルアニマタブルな3次元ニューラルヘッドアバターを合成する。
  論文  参考訳（メタデータ） (2023-06-05T14:10:28Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• READ Avatars: Realistic Emotion-controllable Audio Driven Avatars [11.98034899127065]
  本稿では、感情を直接制御したオーディオ入力によって駆動される2次元アバターを生成するための3次元アプローチであるREAD Avatarsを提案する。 従来の手法では、音声から表現マッピングへの多対多の性質のため、現実的なアニメーションを達成できない。 これは回帰モデルによる滑らかな効果を排除し、生成されたアバターの現実性と表現性を改善するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-01T18:56:43Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。