論文の概要: MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading

• arxiv url: http://arxiv.org/abs/2312.13091v2
• Date: Fri, 22 Dec 2023 02:06:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 17:33:21.225478
• Title: MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
• Title（参考訳）: MoSAR:微分シェーディングを用いた単眼アバター再構成モデル
• Authors: Abdallah Dib, Luiz Gustavo Hafemann, Emeline Got, Trevor Anderson, Amin Fadaeinejad, Rafael M. O. Cruz, Marc-Andre Carbonneau
• Abstract要約: MoSARはモノクロ画像から3次元アバターを生成する方法である。 そこで本研究では,光ステージと地中データセットの両方から学習することで,一般化を向上する半教師付きトレーニング手法を提案する。 FFHQ-UV-Intrinsicsと名付けられた新しいデータセットも導入しました。
• 参考スコア（独自算出の注目度）: 3.2586340344073927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing an avatar from a portrait image has many applications in multimedia, but remains a challenging research problem. Extracting reflectance maps and geometry from one image is ill-posed: recovering geometry is a one-to-many mapping problem and reflectance and light are difficult to disentangle. Accurate geometry and reflectance can be captured under the controlled conditions of a light stage, but it is costly to acquire large datasets in this fashion. Moreover, training solely with this type of data leads to poor generalization with in-the-wild images. This motivates the introduction of MoSAR, a method for 3D avatar generation from monocular images. We propose a semi-supervised training scheme that improves generalization by learning from both light stage and in-the-wild datasets. This is achieved using a novel differentiable shading formulation. We show that our approach effectively disentangles the intrinsic face parameters, producing relightable avatars. As a result, MoSAR estimates a richer set of skin reflectance maps, and generates more realistic avatars than existing state-of-the-art methods. We also introduce a new dataset, named FFHQ-UV-Intrinsics, the first public dataset providing intrinsic face attributes at scale (diffuse, specular, ambient occlusion and translucency maps) for a total of 10k subjects. The project website and the dataset are available on the following link: https://ubisoft-laforge.github.io/character/mosar/
• Abstract（参考訳）: ポートレート画像からアバターを再構築することはマルチメディアに多くの応用があるが、依然として困難な研究課題である。 1つの画像から反射率マップと幾何を抽出することは誤りであり、幾何の復元は1対多のマッピング問題であり、反射率と光の分離は困難である。 正確な幾何学と反射率を光段の制御条件下で捉えることはできるが、この方法で大規模なデータセットを取得するにはコストがかかる。 さらに、この種のデータのみでのトレーニングは、Wildイメージによる一般化の貧弱につながる。 これはモノクロ画像から3Dアバターを生成するMoSARの導入を動機付けている。 そこで本研究では,光ステージと地中データセットの両方から学習することで,一般化を向上する半教師付きトレーニング手法を提案する。 これは、新しい微分可能なシェーディング式を用いて達成される。 提案手法は,本質的な顔パラメータを効果的に切り離し,照らしやすいアバターを生成する。 その結果、MoSARはよりリッチな皮膚反射マップを推定し、既存の最先端手法よりも現実的なアバターを生成する。 FFHQ-UV-Intrinsicsという名の新しいデータセットも導入しました。これは10万件の被験者に対して、内在的な顔属性をスケールで提供する最初の公開データセットです。 https://ubisoft-laforge.github.io/character/mosar/ プロジェクトのwebサイトとデータセットは以下のリンクで利用可能である。

関連論文リスト

• HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
  数枚の写真アルバムからのヒトアバターの復元について検討した。 動的データを扱うために,深行テトラヘドラとスキン機構を統合する。 私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
  論文  参考訳（メタデータ） (2023-11-27T10:01:31Z)
• Relightable and Animatable Neural Avatar from Sparse-View Video [66.77811288144156]
  本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
  論文  参考訳（メタデータ） (2023-08-15T17:42:39Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Learning a 3D Morphable Face Reflectance Model from Low-cost Data [21.37535100469443]
  既存の作業では、Light Stageデータを使用して拡散とスペクトルアルベドのためのパラメトリックモデルを構築している。 本稿では,低コストで利用可能なデータのみを用いた空間変化BRDFを用いた最初の3次元顔反射モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:08:30Z)
• RANA: Relightable Articulated Neural Avatars [83.60081895984634]
  本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。 モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:31Z)
• One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。