Fugu-MT 論文翻訳(概要): FLAME-based Multi-View 3D Face Reconstruction

論文の概要: FLAME-based Multi-View 3D Face Reconstruction

arxiv url: http://arxiv.org/abs/2308.07551v2
Date: Mon, 25 Sep 2023 13:46:01 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 01:19:36.105275
Title: FLAME-based Multi-View 3D Face Reconstruction
Title（参考訳）: FLAMEを用いた多視点3次元顔再構成
Authors: Wenzhuo Zheng, Junhao Zhao, Xiaohong Liu, Yongyang Pan, Zhenghao Gan, Haozhe Han, Ning Liu
Abstract要約: 自己監督型トレーニングフレームワークを構築し,多視点光フロー損失関数や顔ランドマーク損失といった制約を実装した。我々は、AFLWとフェイススケープデータセットでモデルをテストし、実際のシナリオを再構築しながら、顔の写真を3D顔に撮影する。
参考スコア（独自算出の注目度）: 6.498977873283762
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: At present, face 3D reconstruction has broad application prospects in various fields, but the research on it is still in the development stage. In this paper, we hope to achieve better face 3D reconstruction quality by combining multi-view training framework with face parametric model Flame, propose a multi-view training and testing model MFNet (Multi-view Flame Network). We build a self-supervised training framework and implement constraints such as multi-view optical flow loss function and face landmark loss, and finally obtain a complete MFNet. We propose innovative implementations of multi-view optical flow loss and the covisible mask. We test our model on AFLW and facescape datasets and also take pictures of our faces to reconstruct 3D faces while simulating actual scenarios as much as possible, which achieves good results. Our work mainly addresses the problem of combining parametric models of faces with multi-view face 3D reconstruction and explores the implementation of a Flame based multi-view training and testing framework for contributing to the field of face 3D reconstruction.
Abstract（参考訳）: 現在,face 3dリコンストラクションは様々な分野で広く応用されているが,その研究はまだ開発段階にある。本稿では,マルチビュー・トレーニングフレームワークとフェイスパラメトリック・モデル・フレイムを組み合わせることで,より優れた顔3次元再現性の実現を図り,マルチビュー・トレーニング・テストモデルmfnet(multi-view flame network)を提案する。我々は,自己指導型トレーニングフレームワークを構築し,多視点光フロー損失関数や顔ランドマーク損失などの制約を実装し,最終的に完全なMFNetを得る。マルチビュー光フロー損失と可視マスクの革新的実装を提案する。 aflwとfacescapeデータセットでモデルをテストし、実際のシナリオを可能な限りシミュレーションしながら、顔の写真を撮って3d顔を再構築します。本研究は, 顔のパラメトリックモデルと顔の3次元再構成を併用する問題に主に対処し, 顔の3次元再構成に寄与するFlameベースのマルチビュートレーニングおよびテストフレームワークの実装について検討する。

関連論文リスト

GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文参考訳（メタデータ） (2024-06-09T05:19:24Z)
Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
論文参考訳（メタデータ） (2024-04-08T15:25:50Z)
A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文参考訳（メタデータ） (2023-02-28T09:24:36Z)
High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文参考訳（メタデータ） (2022-11-28T18:59:52Z)
Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文参考訳（メタデータ） (2022-04-09T03:46:18Z)
AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文参考訳（メタデータ） (2021-12-11T11:36:30Z)
Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文参考訳（メタデータ） (2021-12-05T07:02:53Z)
Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文参考訳（メタデータ） (2021-01-06T13:15:21Z)
Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文参考訳（メタデータ） (2020-10-09T06:11:17Z)
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency [40.56510679634943]
マルチビュー幾何整合性を利用した自己教師付きトレーニングアーキテクチャを提案する。画素の整合性損失,奥行きの整合性損失,顔のランドマークに基づくエピポーラロスを含む,多視点整合性のための3つの新しい損失関数を設計する。提案手法は精度が高く,特に多彩な表現,ポーズ,照明条件下では堅牢である。
論文参考訳（メタデータ） (2020-07-24T12:36:09Z)
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。登録された画像に対して,60fpsで3次元フローマップを生成する。
論文参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。