論文の概要: Single Image, Any Face: Generalisable 3D Face Generation

• arxiv url: http://arxiv.org/abs/2409.16990v1
• Date: Wed, 25 Sep 2024 14:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:15:16.450435
• Title: Single Image, Any Face: Generalisable 3D Face Generation
• Title（参考訳）: 顔はどんな顔でも撮れる3D顔生成システム
• Authors: Wenqing Wang, Haosen Yang, Josef Kittler, Xiatian Zhu,
• Abstract要約: 我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
• 参考スコア（独自算出の注目度）: 59.9369171926757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The creation of 3D human face avatars from a single unconstrained image is a fundamental task that underlies numerous real-world vision and graphics applications. Despite the significant progress made in generative models, existing methods are either less suited in design for human faces or fail to generalise from the restrictive training domain to unconstrained facial images. To address these limitations, we propose a novel model, Gen3D-Face, which generates 3D human faces with unconstrained single image input within a multi-view consistent diffusion framework. Given a specific input image, our model first produces multi-view images, followed by neural surface construction. To incorporate face geometry information in a generalisable manner, we utilise input-conditioned mesh estimation instead of ground-truth mesh along with synthetic multi-view training data. Importantly, we introduce a multi-view joint generation scheme to enhance appearance consistency among different views. To the best of our knowledge, this is the first attempt and benchmark for creating photorealistic 3D human face avatars from single images for generic human subject across domains. Extensive experiments demonstrate the superiority of our method over previous alternatives for out-of-domain singe image 3D face generation and top competition for in-domain setting.
• Abstract（参考訳）: 単一の制約のない画像から3次元の人間の顔アバターを作成することは、多くの現実世界の視覚とグラフィックアプリケーションの基礎となる基本的なタスクである。 生成モデルにおける大きな進歩にもかかわらず、既存の手法は人間の顔の設計にはあまり適していないか、制限的な訓練領域から制約のない顔画像への一般化に失敗している。 これらの制約に対処するために,多視点一貫した拡散フレームワークにおいて,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 特定の入力画像が与えられた場合、まずマルチビュー画像を生成し、続いてニューラルサーフェス構築を行う。 顔形状情報を一般化可能な方法で組み込むために,入力条件付きメッシュ推定と合成多視点学習データを利用する。 重要なことは、異なる視点間の外観整合性を高めるために、多視点共同生成方式を導入することである。 私たちの知る限りでは、ドメイン全体にわたる一般的な人間の対象のための単一の画像から、フォトリアリスティックな3D顔アバターを作成するための最初の試みであり、ベンチマークである。 大規模な実験により,従来のドメイン外歌唱画像の3次元顔生成法とドメイン内設定法のトップコンペティションに対して,提案手法の優位性を実証した。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
  NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。 単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:59:56Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images [18.489290898059462]
  本稿では,新しい3次元顔レンダリングモデルであるNeuFaceを提案し,その基礎となる3次元表現の正確かつ物理的意味を学習する。 BRDFと簡易な低ランク前処理を導入し,両面のあいまいさを効果的に低減し,顔のBRDFの性能を向上させる。
  論文  参考訳（メタデータ） (2023-03-24T15:57:39Z)
• Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
  我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。 入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
  論文  参考訳（メタデータ） (2021-06-21T21:57:16Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。