Fugu-MT 論文翻訳(概要): DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face Alignment

論文の概要: DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face Alignment

arxiv url: http://arxiv.org/abs/2305.11522v1
Date: Fri, 19 May 2023 08:43:37 GMT
ステータス: 処理完了
システム内更新日: 2023-05-22 15:26:23.496408
Title: DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face Alignment
Title（参考訳）: DSFNet:Occlusion-Robust 3D Dense Faceアライメントのためのデュアルスペースフュージョンネットワーク
Authors: Heyuan Li, Bo Wang, Yu Cheng, Mohan Kankanhalli, Robby T. Tan
Abstract要約: 最先端の3DMMベースの手法は、モデルの係数を直接回帰する。本稿では,画像とモデル空間予測の両方の利点を組み合わせた融合ネットワークを提案する。
参考スコア（独自算出の注目度）: 34.223372986832544
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sensitivity to severe occlusion and large view angles limits the usage scenarios of the existing monocular 3D dense face alignment methods. The state-of-the-art 3DMM-based method, directly regresses the model's coefficients, underutilizing the low-level 2D spatial and semantic information, which can actually offer cues for face shape and orientation. In this work, we demonstrate how modeling 3D facial geometry in image and model space jointly can solve the occlusion and view angle problems. Instead of predicting the whole face directly, we regress image space features in the visible facial region by dense prediction first. Subsequently, we predict our model's coefficients based on the regressed feature of the visible regions, leveraging the prior knowledge of whole face geometry from the morphable models to complete the invisible regions. We further propose a fusion network that combines the advantages of both the image and model space predictions to achieve high robustness and accuracy in unconstrained scenarios. Thanks to the proposed fusion module, our method is robust not only to occlusion and large pitch and roll view angles, which is the benefit of our image space approach, but also to noise and large yaw angles, which is the benefit of our model space method. Comprehensive evaluations demonstrate the superior performance of our method compared with the state-of-the-art methods. On the 3D dense face alignment task, we achieve 3.80% NME on the AFLW2000-3D dataset, which outperforms the state-of-the-art method by 5.5%. Code is available at https://github.com/lhyfst/DSFNet.
Abstract（参考訳）: 重度の閉塞と大きな視角に対する感度は、既存のモノクル3D高密度顔アライメント法の使用シナリオを制限する。最先端の3DMMベースの手法では、モデルの係数を直接回帰し、低レベルな2次元空間情報と意味情報を活用する。本研究では,画像空間とモデル空間における3次元顔形状のモデリングが咬合と視野角の問題をどのように解決するかを実証する。顔全体を直接予測する代わりに、まず濃密な予測により、目に見える顔領域における画像空間の特徴を回帰する。次に,可視領域の回帰的特徴に基づいてモデル係数を予測し,モーファブルモデルから全体の顔形状に関する事前知識を活用し,可視領域を完成させる。さらに,画像とモデル空間予測の利点を組み合わせて,制約のないシナリオにおいて高い堅牢性と精度を実現する融合ネットワークを提案する。提案する融合モジュールにより,画像空間アプローチの利点であるオクルージョンと大きなピッチとロールビュー角だけでなく,ノイズや大きなヨーアングルにもロバストな手法が提案されている。本手法の総合評価は,最先端手法と比較して優れた性能を示す。 3次元高密度顔アライメントタスクでは,aflw2000-3dデータセット上で3.80%のnmeを達成し,最先端手法を5.5%上回った。コードはhttps://github.com/lhyfst/DSFNetで入手できる。

関連論文リスト

FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文参考訳（メタデータ） (2024-10-13T01:25:05Z)
STAF: 3D Human Mesh Recovery from Video with Spatio-Temporal Alignment Fusion [35.42718669331158]
既存のモデルは、通常、空間的・時間的情報を無視し、メッシュや画像の不一致や時間的不連続につながる可能性がある。ビデオベースのモデルとして、注意に基づくテンポラルコヒーレンス融合モジュールによる人間の動きからのコヒーレンスヒントを利用する。さらに,モデルが対象のフレームだけでなく,入力シーケンス全体に集中できるように,平均プールモジュール(APM)を提案する。
論文参考訳（メタデータ） (2024-01-03T13:07:14Z)
FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文参考訳（メタデータ） (2023-08-10T17:55:02Z)
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2023-02-10T19:40:26Z)
Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
論文参考訳（メタデータ） (2022-08-18T09:20:48Z)
RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文参考訳（メタデータ） (2022-05-14T05:35:35Z)
FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset [36.688730105295015]
FaceVerseは60Kの融合RGB-D画像と2Kの高忠実度3Dヘッドスキャンモデルを含むハイブリッド東アジアの顔データセットから構築されている。粗いモジュールでは、大規模なRGB-D画像からベースパラメトリックモデルを生成し、性別や年齢などによって正確な3D顔モデルを予測することができる。高忠実度スキャンモデルで訓練された条件付きスタイルGANアーキテクチャを導入し、精巧な顔の幾何学的およびテクスチャ的詳細を表現した。
論文参考訳（メタデータ） (2022-03-26T12:13:14Z)
AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文参考訳（メタデータ） (2021-12-11T11:36:30Z)
Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文参考訳（メタデータ） (2021-12-05T07:02:53Z)
Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文参考訳（メタデータ） (2020-08-04T13:56:19Z)
Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
論文参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。