論文の概要: Topologically Consistent Multi-View Face Inference Using Volumetric Sampling

• arxiv url: http://arxiv.org/abs/2110.02948v1
• Date: Wed, 6 Oct 2021 17:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 14:22:23.175637
• Title: Topologically Consistent Multi-View Face Inference Using Volumetric Sampling
• Title（参考訳）: ボリュームサンプリングを用いた位相整合多視点顔推測
• Authors: Tianye Li and Shichen Liu and Timo Bolkart and Jiayi Liu and Hao Li and Yajie Zhao
• Abstract要約: ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
• 参考スコア（独自算出の注目度）: 25.001398662643986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-fidelity face digitization solutions often combine multi-view stereo (MVS) techniques for 3D reconstruction and a non-rigid registration step to establish dense correspondence across identities and expressions. A common problem is the need for manual clean-up after the MVS step, as 3D scans are typically affected by noise and outliers and contain hairy surface regions that need to be cleaned up by artists. Furthermore, mesh registration tends to fail for extreme facial expressions. Most learning-based methods use an underlying 3D morphable model (3DMM) to ensure robustness, but this limits the output accuracy for extreme facial expressions. In addition, the global bottleneck of regression architectures cannot produce meshes that tightly fit the ground truth surfaces. We propose ToFu, Topologically consistent Face from multi-view, a geometry inference framework that can produce topologically consistent meshes across facial identities and expressions using a volumetric representation instead of an explicit underlying 3DMM. Our novel progressive mesh generation network embeds the topological structure of the face in a feature volume, sampled from geometry-aware local features. A coarse-to-fine architecture facilitates dense and accurate facial mesh predictions in a consistent mesh topology. ToFu further captures displacement maps for pore-level geometric details and facilitates high-quality rendering in the form of albedo and specular reflectance maps. These high-quality assets are readily usable by production studios for avatar creation, animation and physically-based skin rendering. We demonstrate state-of-the-art geometric and correspondence accuracy, while only taking 0.385 seconds to compute a mesh with 10K vertices, which is three orders of magnitude faster than traditional techniques. The code and the model are available for research purposes at https://tianyeli.github.io/tofu.
• Abstract（参考訳）: 高忠実な顔のデジタル化ソリューションは、しばしば3次元再構成のための多視点ステレオ(MVS)技術と、アイデンティティや表現間の密接な対応を確立するための非厳密な登録ステップを組み合わせる。 一般的な問題は、MVSのステップ後に手動で掃除する必要があることだ。3Dスキャンは一般的にノイズやアウトリーチの影響を受けており、アーティストがきれいにする必要がある毛むくじゃらの表面領域を含んでいる。 さらに、メッシュ登録は極端な表情で失敗する傾向がある。 学習に基づくほとんどの手法は、強靭性を確保するために基礎となる3次元形態素モデル(3DMM)を用いるが、これは極端な表情の出力精度を制限する。 さらに、回帰アーキテクチャのグローバルなボトルネックは、基底の真理面に厳密に適合するメッシュを生成できない。 本研究では,3dmmを基盤とする明示的な表現ではなく,ボリューム表現を用いて,顔の識別や表現にトポロジ的に一貫性のあるメッシュを生成できる幾何推論フレームワークであるmulti-viewから,トポロジ的に一貫性のある顔であるtofuを提案する。 新たに開発したプログレッシブメッシュ生成ネットワークは,ジオメトリ対応の局所特徴から抽出した特徴量に顔のトポロジカル構造を埋め込む。 粗いアーキテクチャは、一貫したメッシュトポロジにおいて、密集した正確なメッシュ予測を容易にする。 さらにToFuは、細孔レベルの幾何学的詳細のための変位マップをキャプチャし、アルベドと特異反射マップという形で高品質なレンダリングを容易にする。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。 10k頂点を持つメッシュを計算するのに0.385秒しかかからず、最先端の幾何学的および対応的精度を示す。 コードとモデルは、https://tianyeli.github.io/tofuで研究目的に利用できる。

関連論文リスト

• CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner [34.78919665494048]
  CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。 本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
  論文  参考訳（メタデータ） (2024-05-23T18:30:12Z)
• Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
  一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。 トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。 主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
  論文  参考訳（メタデータ） (2024-04-08T15:25:50Z)
• 4D Facial Expression Diffusion Model [3.507793603897647]
  本稿では,3次元表情系列を生成するための生成フレームワークを提案する。 これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。 実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-29T11:50:21Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask [6.103988053817792]
  本稿では,顔解析手法を用いて,任意の3次元メッシュのトポロジを洗練させる手法を提案する。 私たちのソリューションは、それぞれの顔を2次元のソフトマップとして描画する微分可能を利用しています。 我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、自己管理されたイメージベースの3D再構成パイプラインに簡単に接続することができる。
  論文  参考訳（メタデータ） (2022-10-17T14:51:38Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis [90.26556260531707]
  DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。 メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
  論文  参考訳（メタデータ） (2021-11-08T05:29:35Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。