論文の概要: 3D human tongue reconstruction from single "in-the-wild" images

• arxiv url: http://arxiv.org/abs/2106.12302v1
• Date: Wed, 23 Jun 2021 10:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 20:43:10.085865
• Title: 3D human tongue reconstruction from single "in-the-wild" images
• Title（参考訳）: 単一"in-the-wild"画像による3次元舌再建
• Authors: Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, Stefanos Zafeiriou
• Abstract要約: 単一の画像からの3D顔の再構築は、コンピュータビジョンコミュニティへの関心が高まりつつある課題である。 舌とともに3Dの顔を正確に再構築する、エンドツーエンドのトレーニング可能なパイプラインを、私たちの知る限り、初めて提示する。
• 参考スコア（独自算出の注目度）: 69.22757558729985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D face reconstruction from a single image is a task that has garnered increased interest in the Computer Vision community, especially due to its broad use in a number of applications such as realistic 3D avatar creation, pose invariant face recognition and face hallucination. Since the introduction of the 3D Morphable Model in the late 90's, we witnessed an explosion of research aiming at particularly tackling this task. Nevertheless, despite the increasing level of detail in the 3D face reconstructions from single images mainly attributed to deep learning advances, finer and highly deformable components of the face such as the tongue are still absent from all 3D face models in the literature, although being very important for the realness of the 3D avatar representations. In this work we present the first, to the best of our knowledge, end-to-end trainable pipeline that accurately reconstructs the 3D face together with the tongue. Moreover, we make this pipeline robust in "in-the-wild" images by introducing a novel GAN method tailored for 3D tongue surface generation. Finally, we make publicly available to the community the first diverse tongue dataset, consisting of 1,800 raw scans of 700 individuals varying in gender, age, and ethnicity backgrounds. As we demonstrate in an extensive series of quantitative as well as qualitative experiments, our model proves to be robust and realistically captures the 3D tongue structure, even in adverse "in-the-wild" conditions.
• Abstract（参考訳）: 単一の画像からの3D顔の再構成は、特にリアルな3Dアバター作成、不変顔認識、顔の幻覚といった多くのアプリケーションで広く使われているため、コンピュータビジョンコミュニティへの関心が高まったタスクである。 90年代後半に3D Morphable Modelが導入されて以来、我々はこの課題に特に取り組むことを目的とした研究の爆発を目撃した。 しかし, 深層学習に起因した単一画像からの3次元顔再構成の精度は高まっているものの, 3次元アバター表現の現実性には極めて重要であるにもかかわらず, 舌などの顔の微細で変形性の高い成分は, 文学におけるすべての3次元顔モデルにはまだ欠落している。 本研究では,まず,舌とともに3次元顔の正確な再構築を行う,エンド・ツー・エンドのトレーニング可能なパイプラインについて述べる。 さらに,3次元舌表面生成に適した新しいGAN法を導入することにより,このパイプラインを「夢中」画像で堅牢にする。 最後に、性別、年齢、民族的背景の異なる700人の生スキャン1,800人からなる、最初の多様な舌データセットをコミュニティに公開します。 定量的および定性的実験の広範なシリーズで示すように、我々のモデルは、悪質な「未熟な」条件下であっても、頑健で現実的な3D舌の構造を捉えることができる。

関連論文リスト

• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• A Survey on 3D Human Avatar Modeling -- From Reconstruction to Generation [20.32107267981782]
  多くの現実世界のアプリケーションの中核に位置する3Dヒューマンモデリングは、大きな注目を集めている。 本調査は,3次元アバターモデリングの新技術の概要を明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T16:58:00Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification [9.159921061636695]
  本稿では,2次元支援型深部3次元顔認証の枠組みを提案する。 特に,大規模な2次元顔データベースから数百万の3次元顔スキャンを再構築することを提案する。 提案手法はFRGC v2.0, Bosphorus, BU-3DFEの3次元顔データベース上で, 最先端のランク1スコアを実現する。
  論文  参考訳（メタデータ） (2020-10-16T13:48:38Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。