Fugu-MT 論文翻訳(概要): Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry

論文の概要: Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry

arxiv url: http://arxiv.org/abs/2110.09772v3
Date: Wed, 17 Jan 2024 07:38:17 GMT
ステータス: 処理完了
システム内更新日: 2024-01-18 22:26:16.134502
Title: Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry
Title（参考訳）: 3dmmと3dランドマークの正確な3d顔形状のための相乗効果
Authors: Cho-Ying Wu, Qiangeng Xu, Ulrich Neumann
Abstract要約: 本研究は3次元形態素モデル(3DMM)と3次元顔のランドマークの相乗過程から学習する。我々は、3次元アライメント、顔の向き、および3次元顔モデリングを含む、完全な3次元顔形状を予測する。
参考スコア（独自算出の注目度）: 21.051258644469268
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work studies learning from a synergy process of 3D Morphable Models (3DMM) and 3D facial landmarks to predict complete 3D facial geometry, including 3D alignment, face orientation, and 3D face modeling. Our synergy process leverages a representation cycle for 3DMM parameters and 3D landmarks. 3D landmarks can be extracted and refined from face meshes built by 3DMM parameters. We next reverse the representation direction and show that predicting 3DMM parameters from sparse 3D landmarks improves the information flow. Together we create a synergy process that utilizes the relation between 3D landmarks and 3DMM parameters, and they collaboratively contribute to better performance. We extensively validate our contribution on full tasks of facial geometry prediction and show our superior and robust performance on these tasks for various scenarios. Particularly, we adopt only simple and widely-used network operations to attain fast and accurate facial geometry prediction. Codes and data: https://choyingw.github.io/works/SynergyNet/
Abstract（参考訳）: 本研究では,3次元形状モデル(3dmm)と3次元顔ランドマークの相乗過程から学習し,3次元アライメント,顔配向,3次元顔モデリングなど,完全な3次元顔形状を予測する。我々のシナジープロセスは、3DMMパラメータと3Dランドマークの表現サイクルを利用する。 3DMMパラメータで構築されたフェイスメッシュから3Dランドマークを抽出し、洗練することができる。次に、表現方向を反転させ、スパース3Dランドマークからの3DMMパラメータの予測が情報フローを改善することを示す。 3Dランドマークと3DMMパラメータの関係を利用して、協調的により良いパフォーマンスに寄与するシナジープロセスを作成する。顔形状予測の完全なタスクに対する我々の貢献を広く検証し、様々なシナリオにおいてこれらのタスクに対する優れた、堅牢なパフォーマンスを示す。特に,高速で正確な顔形状予測を実現するために,単純で広く利用されているネットワーク操作のみを採用する。コードとデータ: https://choyingw.github.io/works/synergynet/

関連論文リスト

Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。生成した2次元画像が基本形状と構造を保持することを保証するために,高品質な3次元モデルから導出される深度マップを制御信号として利用する。 3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
論文参考訳（メタデータ） (2024-08-12T06:25:44Z)
DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文参考訳（メタデータ） (2024-06-06T17:58:15Z)
DNPM: A Neural Parametric Model for the Synthesis of Facial Geometric Details [8.849223786633083]
3次元顔モデリングでは、3DMMが最も広く使われているパラメトリックモデルであるが、アイデンティティや表現入力のみから詳細な幾何学的詳細を生成することはできない。そこで我々は, 深層ニューラルネットワークを用いて, 詳細やしわを符号化した顔変位図から潜時符号を抽出するDNPMというニューラルパラメトリックモデルを提案する。 DNPMとDetailed3DMMは、音声駆動の詳細な3D顔アニメーションと、劣化画像からの3D顔再構成の2つのダウンストリームアプリケーションに役立つことを示す。
論文参考訳（メタデータ） (2024-05-30T04:57:55Z)
CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文参考訳（メタデータ） (2023-03-21T17:59:02Z)
Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文参考訳（メタデータ） (2023-02-27T17:56:18Z)
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2023-02-10T19:40:26Z)
Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文参考訳（メタデータ） (2022-04-09T03:46:18Z)
Asymmetric 3D Context Fusion for Universal Lesion Detection [55.61873234187917]
3Dネットワークは、3Dコンテキストでは強いが、教師付き事前トレーニングがない。既存の3Dコンテキスト融合演算子は空間対称に設計されており、畳み込みのように各2Dスライス上で同一の操作を行う。本研究では, 異なる重みを持つ非対称な3次元コンテキスト融合演算子 (A3D) を提案し, 異なる2次元スライスから3次元コンテキストを融合させる。
論文参考訳（メタデータ） (2021-09-17T16:25:10Z)
Accurate 3D Facial Geometry Prediction by Multi-Task, Multi-Modal, and Multi-Representation Landmark Refinement Network [14.966695101335704]
この研究は、3dモデリングと顔方向推定による3d顔アライメントを含む、完全な3d顔形状予測に焦点を当てている。我々の焦点は、重要な顔の特徴である3Dランドマークに焦点をあて、その埋め込み情報を十分に活用して3D顔形状学習をガイドすることである。私達は3D顔の幾何学を学ぶすべてのタスクの広範な実験からの芸術の状態を達成します。
論文参考訳（メタデータ） (2021-04-16T23:22:41Z)
Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文参考訳（メタデータ） (2020-08-04T13:56:19Z)
FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
論文参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。