論文の概要: High-Quality 3D Face Reconstruction with Affine Convolutional Networks

• arxiv url: http://arxiv.org/abs/2310.14237v1
• Date: Sun, 22 Oct 2023 09:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:50:19.529307
• Title: High-Quality 3D Face Reconstruction with Affine Convolutional Networks
• Title（参考訳）: アフィン畳み込みネットワークを用いた高品質3次元顔再建
• Authors: Zhiqian Lin, Jiangke Lin, Lincheng Li, Yi Yuan, Zhengxia Zou
• Abstract要約: 3次元顔再構成では、入力画像(例えば顔)と標準/UV出力との間の空間的ずれが特徴符号化・復号処理を非常に困難にする。 我々は、空間的に非対応な入力および出力画像を扱うCNNベースのアプローチを可能にする新しいネットワークアーキテクチャ、すなわちAffine Convolution Networksを提案する。 提案手法はパラメトリックフリーであり,512×512ピクセルの解像度で高品質な紫外線マップを生成することができる。
• 参考スコア（独自算出の注目度）: 21.761247036523606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works based on convolutional encoder-decoder architecture and 3DMM parameterization have shown great potential for canonical view reconstruction from a single input image. Conventional CNN architectures benefit from exploiting the spatial correspondence between the input and output pixels. However, in 3D face reconstruction, the spatial misalignment between the input image (e.g. face) and the canonical/UV output makes the feature encoding-decoding process quite challenging. In this paper, to tackle this problem, we propose a new network architecture, namely the Affine Convolution Networks, which enables CNN based approaches to handle spatially non-corresponding input and output images and maintain high-fidelity quality output at the same time. In our method, an affine transformation matrix is learned from the affine convolution layer for each spatial location of the feature maps. In addition, we represent 3D human heads in UV space with multiple components, including diffuse maps for texture representation, position maps for geometry representation, and light maps for recovering more complex lighting conditions in the real world. All the components can be trained without any manual annotations. Our method is parametric-free and can generate high-quality UV maps at resolution of 512 x 512 pixels, while previous approaches normally generate 256 x 256 pixels or smaller. Our code will be released once the paper got accepted.
• Abstract（参考訳）: 畳み込みエンコーダ・デコーダアーキテクチャと3DMMパラメータ化に基づく最近の研究は、単一入力画像からの標準ビュー再構成に大きな可能性を示している。 従来のcnnアーキテクチャは、入力ピクセルと出力ピクセル間の空間対応を利用する利点がある。 しかし、3次元顔再構成では、入力画像(例えば顔)と標準/UV出力との空間的ずれにより、特徴符号化/復号処理は非常に困難である。 本稿では,この問題を解決するために,cnnによる入力・出力画像の空間的非対応処理と高精細な品質出力の同時処理を可能にする,新しいネットワークアーキテクチャであるアフィン畳み込みネットワークを提案する。 本手法では,アフィン畳み込み層から特徴写像の空間的位置毎にアフィン変換行列を学習する。 さらに, テクスチャ表現のための拡散マップ, 幾何学表現のための位置マップ, 現実世界のより複雑な照明条件を回復するための光マップなど, 多成分のuv空間における3次元人間の頭部を表現する。 すべてのコンポーネントは手動のアノテーションなしでトレーニングできる。 提案手法はパラメトリックフリーであり,512×512ピクセルの解像度で高品質な紫外線マップを生成することができる。 論文が受け入れられたら、私たちのコードはリリースされます。

関連論文リスト

• Quark: Real-time, High-resolution, and General Neural View Synthesis [14.614589047064191]
  本稿では,高品質,高解像度,リアルタイムの新規ビュー合成を実現するためのニューラルアルゴリズムを提案する。 入力されたRGB画像やビデオストリームのスパースセットから、3Dシーンを再構築し、NVIDIA A100上で1080pの解像度で新しいビューを30fpsでレンダリングします。
  論文  参考訳（メタデータ） (2024-11-25T18:59:50Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• TEGLO: High Fidelity Canonical Texture Mapping from Single-View Images [1.4502611532302039]
  画像の単一ビューから3次元表現を学習するためのTEGLO(Textured EG3D-GLO)を提案する。 我々は, 条件付きニューラルレージアンスフィールド(NeRF)を, 明示的な3次元監視なしに訓練することで実現した。 このようなマッピングによって、共有トポロジのメッシュを必要としないテクスチャ転送やテクスチャ編集が可能であることを実証する。
  論文  参考訳（メタデータ） (2023-03-24T01:52:03Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
  このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。 我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。 実験により,本手法は最先端手法よりも再現精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-25T03:21:05Z)
• Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis [90.26556260531707]
  DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。 メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
  論文  参考訳（メタデータ） (2021-11-08T05:29:35Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)
• 3D Human Mesh Regression with Dense Correspondence [95.92326689172877]
  単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。 本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T08:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。