論文の概要: SIRA: Relightable Avatars from a Single Image

• arxiv url: http://arxiv.org/abs/2209.03027v1
• Date: Wed, 7 Sep 2022 09:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:14:27.754362
• Title: SIRA: Relightable Avatars from a Single Image
• Title（参考訳）: SIRA:1枚の画像から楽しめるアバター
• Authors: Pol Caselles, Eduard Ramon, Jaime Garcia, Xavier Giro-i-Nieto, Francesc Moreno-Noguer, Gil Triginer
• Abstract要約: SIRAは人間の頭部アバターを高忠実度な形状と分解光と表面材料で再構成する手法である。 我々の重要な要素は、単視点3次元表面再構成と外観分解のあいまいさを解消するニューラルネットワークに基づく2つのデータ駆動統計モデルである。
• 参考スコア（独自算出の注目度）: 19.69326772087838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering the geometry of a human head from a single image, while factorizing the materials and illumination is a severely ill-posed problem that requires prior information to be solved. Methods based on 3D Morphable Models (3DMM), and their combination with differentiable renderers, have shown promising results. However, the expressiveness of 3DMMs is limited, and they typically yield over-smoothed and identity-agnostic 3D shapes limited to the face region. Highly accurate full head reconstructions have recently been obtained with neural fields that parameterize the geometry using multilayer perceptrons. The versatility of these representations has also proved effective for disentangling geometry, materials and lighting. However, these methods require several tens of input images. In this paper, we introduce SIRA, a method which, from a single image, reconstructs human head avatars with high fidelity geometry and factorized lights and surface materials. Our key ingredients are two data-driven statistical models based on neural fields that resolve the ambiguities of single-view 3D surface reconstruction and appearance factorization. Experiments show that SIRA obtains state of the art results in 3D head reconstruction while at the same time it successfully disentangles the global illumination, and the diffuse and specular albedos. Furthermore, our reconstructions are amenable to physically-based appearance editing and head model relighting.
• Abstract（参考訳）: 人間の頭部の形状を1つの画像から復元し、材料と照明を分解することは、事前情報を必要とする深刻な問題である。 3次元モーファブルモデル(3dmm)と微分可能なレンダラの組み合わせに基づく手法は、有望な結果を示している。 しかし、3dmmの表現性は限られており、通常は顔領域に制限される過剰なスムースとアイデンティティを欠く3d形状が得られる。 近年,多層パーセプトロンを用いて形状をパラメータ化するニューラルネットワークを用いて,高精度な全頭部再構成を行った。 これらの表現の汎用性は、幾何学、材料、照明の分離にも有効であることが証明されている。 しかし、これらの手法は数十の入力画像を必要とする。 本稿では,単一の画像から人間の頭部アバターを高忠実度な形状で再構成し,光や表面物質を分解する手法であるSIRAを紹介する。 主成分は2つのデータ駆動型統計モデルであり,単視点3次元表面再構成と出現因子化のあいまいさを解消するニューラルフィールドに基づく。 実験の結果,SIRAは3次元頭部再建術の成績が得られたが,同時に大域照明と拡散・明細アルベドを解離させることに成功した。 さらに,本再建は,身体的な外観編集やヘッドモデルライティングに有用である。

関連論文リスト

• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry [3.970492757288025]
  本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。 U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
  論文  参考訳（メタデータ） (2021-04-28T11:31:35Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。