Fugu-MT 論文翻訳(概要): REALY: Rethinking the Evaluation of 3D Face Reconstruction

論文の概要: REALY: Rethinking the Evaluation of 3D Face Reconstruction

arxiv url: http://arxiv.org/abs/2203.09729v1
Date: Fri, 18 Mar 2022 04:04:45 GMT
ステータス: 処理完了
システム内更新日: 2022-03-22 00:54:28.449820
Title: REALY: Rethinking the Evaluation of 3D Face Reconstruction
Title（参考訳）: realy: 3次元顔再建の評価を再考する
Authors: Zenghao Chai, Haoxian Zhang, Jing Ren, Di Kang, Zhengzhuo Xu, Xuefei Zhe, Chun Yuan, Linchao Bao
Abstract要約: 本稿では,新しいベンチマークREALYによる新しい評価手法を提案する。提案手法は, 領域的な形状アライメントを実現し, より正確な双方向対応を実現する。私たちはREALY、HIFI3D++、そして新しい評価パイプラインをhttps://realy3dface.com.comでリリースします。
参考スコア（独自算出の注目度）: 29.138109054242214
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The evaluation of 3D face reconstruction results typically relies on a rigid shape alignment between the estimated 3D model and the ground-truth scan. We observe that aligning two shapes with different reference points can largely affect the evaluation results. This poses difficulties for precisely diagnosing and improving a 3D face reconstruction method. In this paper, we propose a novel evaluation approach with a new benchmark REALY, consists of 100 globally aligned face scans with accurate facial keypoints, high-quality region masks, and topology-consistent meshes. Our approach performs region-wise shape alignment and leads to more accurate, bidirectional correspondences during computing the shape errors. The fine-grained, region-wise evaluation results provide us detailed understandings about the performance of state-of-the-art 3D face reconstruction methods. For example, our experiments on single-image based reconstruction methods reveal that DECA performs the best on nose regions, while GANFit performs better on cheek regions. Besides, a new and high-quality 3DMM basis, HIFI3D++, is further derived using the same procedure as we construct REALY to align and retopologize several 3D face datasets. We will release REALY, HIFI3D++, and our new evaluation pipeline at https://realy3dface.com.
Abstract（参考訳）: 3次元顔の再構成結果の評価は、通常、推定された3次元モデルと地上トラススキャンとの剛性形状アライメントに依存する。 2つの形状を異なる基準点で整列させることが評価結果に大きく影響することを観察した。これにより3次元顔再建法を正確に診断・改善することが困難となる。本稿では,高精度な顔キーポイント,高品質な領域マスク,トポロジ一貫性メッシュを備えた100の顔スキャンからなる新しいベンチマークREALYによる評価手法を提案する。提案手法は, 形状誤差の計算において, より正確で双方向な対応性を実現する。細粒度, 地域別評価の結果から, 最先端の3次元顔再構成法の性能を詳細に把握できた。例えば、単一画像に基づく再構成法の実験では、decaが鼻領域で最高の性能を示し、ganfitが頬領域でより優れた性能を示す。さらに、新しい高品質な3DMMベースであるHIFI3D++は、複数の3D顔データセットの整列と再分類のためにREALYを構築したのと同じ手順を用いてさらに導出される。 realy、hifi3d++、そして新しい評価パイプラインをhttps://realy3dface.comでリリースします。

関連論文リスト

Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文参考訳（メタデータ） (2023-04-19T08:45:26Z)
Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文参考訳（メタデータ） (2022-12-14T18:49:50Z)
Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文参考訳（メタデータ） (2022-05-05T17:59:55Z)
From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction [80.67873933010783]
我々は,MDPが現在,3Dアプリケーションにおける予測の有用性を評価するのに有効な指標に頼っていることを論じる。これにより、2Dベースの距離を最適化するのではなく、シーンの3D構造を正確に認識し、推定に向けて改善する新しい手法の設計と開発が制限される。本稿では,MDP手法の3次元幾何評価に適した指標セットと,提案手法に不可欠な室内ベンチマークRIO-D3Dを提案する。
論文参考訳（メタデータ） (2022-03-15T17:50:54Z)
FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction [29.920622006999732]
大規模な3次元顔データセット、FaceScape、およびそれに対応するベンチマークを提示し、単視点顔の3次元再構成を評価する。 FaceScapeデータをトレーニングすることにより、単一の画像入力から精巧な3次元顔モデルを予測する新しいアルゴリズムを提案する。また、FaceScapeデータを用いて、最新の単一視点顔再構成手法の評価を行う。
論文参考訳（メタデータ） (2021-11-01T16:48:34Z)
Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文参考訳（メタデータ） (2021-10-06T17:55:08Z)
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文参考訳（メタデータ） (2021-05-16T16:35:44Z)
Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文参考訳（メタデータ） (2021-04-21T00:35:32Z)
An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
論文参考訳（メタデータ） (2021-03-05T00:02:18Z)
Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文参考訳（メタデータ） (2020-08-16T13:38:41Z)
Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
論文参考訳（メタデータ） (2020-07-08T09:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。