Fugu-MT 論文翻訳(概要): Learning Free-Form Deformation for 3D Face Reconstruction from In-The-Wild Images

論文の概要: Learning Free-Form Deformation for 3D Face Reconstruction from In-The-Wild Images

arxiv url: http://arxiv.org/abs/2105.14857v1
Date: Mon, 31 May 2021 10:19:20 GMT
ステータス: 処理完了
システム内更新日: 2021-06-02 01:54:57.880158
Title: Learning Free-Form Deformation for 3D Face Reconstruction from In-The-Wild Images
Title（参考訳）: インザ・ワイルド画像からの3次元顔再構成のための自由変形学習
Authors: Harim Jung, Myeong-Seok Oh, Seong-Whan Lee
Abstract要約: 本稿では,自由形変形(FFD)による3次元顔メッシュの再構成を初めて行う学習手法を提案する。複数のデータセットに対する実験により,2次元顔画像から3次元顔形状と表情をうまく推定する方法が実証された。
参考スコア（独自算出の注目度）: 19.799466588741836
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The 3D Morphable Model (3DMM), which is a Principal Component Analysis (PCA) based statistical model that represents a 3D face using linear basis functions, has shown promising results for reconstructing 3D faces from single-view in-the-wild images. However, 3DMM has restricted representation power due to the limited number of 3D scans and the global linear basis. To address the limitations of 3DMM, we propose a straightforward learning-based method that reconstructs a 3D face mesh through Free-Form Deformation (FFD) for the first time. FFD is a geometric modeling method that embeds a reference mesh within a parallelepiped grid and deforms the mesh by moving the sparse control points of the grid. As FFD is based on mathematically defined basis functions, it has no limitation in representation power. Thus, we can recover accurate 3D face meshes by estimating appropriate deviation of control points as deformation parameters. Although both 3DMM and FFD are parametric models, it is difficult to predict the effect of the 3DMM parameters on the face shape, while the deformation parameters of FFD are interpretable in terms of their effect on the final shape of the mesh. This practical advantage of FFD allows the resulting mesh and control points to serve as a good starting point for 3D face modeling, in that ordinary users can fine-tune the mesh by using widely available 3D software tools. Experiments on multiple datasets demonstrate how our method successfully estimates the 3D face geometry and facial expressions from 2D face images, achieving comparable performance to the state-of-the-art methods.
Abstract（参考訳）: 線形基底関数を用いた3次元顔を表す主成分分析(PCA)に基づく統計モデルである3D Morphable Model (3DMM) は, 単眼画像から3次元顔を再構成する有望な結果を示した。しかし、3dmmは3dスキャンの限られた数と大域的な線形基底のため、表現力に制限がある。 3DMMの限界に対処するために,フリーフォーム変形(FFD)による3次元顔メッシュの再構築を初めて行う,簡単な学習ベース手法を提案する。 FFDは、並列入力グリッドに参照メッシュを埋め込み、グリッドのスパース制御ポイントを移動させることでメッシュを変形させる幾何学的モデリング手法である。 FFDは数学的に定義された基底関数に基づいているため、表現力に制限はない。これにより、制御点の適切な偏差を変形パラメータとして推定することにより、正確な3次元顔メッシュを復元することができる。 3DMMとFFDはどちらもパラメトリックモデルであるが、3DMMパラメータが顔形状に与える影響を予測することは困難であり、FFDの変形パラメータはメッシュの最終的な形状に対する影響の観点から解釈可能である。このffdの実用的な利点により、メッシュと制御ポイントは3d顔モデリングの出発点となり、一般ユーザーは広く利用可能な3dソフトウェアツールを使用してメッシュを微調整できる。複数のデータセットを用いた実験により,2次元顔画像から3次元顔形状と表情を推定し,最先端の手法と同等の性能が得られることを示す。

関連論文リスト

3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
論文参考訳（メタデータ） (2024-04-09T12:47:30Z)
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2023-02-10T19:40:26Z)
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文参考訳（メタデータ） (2022-11-23T19:02:50Z)
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文参考訳（メタデータ） (2022-11-21T06:40:46Z)
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文参考訳（メタデータ） (2022-08-18T00:48:15Z)
Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文参考訳（メタデータ） (2022-04-21T03:42:31Z)
Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文参考訳（メタデータ） (2022-04-09T03:46:18Z)
AutoShape: Real-Time Shape-Aware Monocular 3D Object Detection [15.244852122106634]
形状認識型2D/3D制約を3D検出フレームワークに組み込む手法を提案する。具体的には、ディープニューラルネットワークを用いて、2次元画像領域の区別された2Dキーポイントを学習する。 2D/3Dキーポイントの基礎的真理を生成するために、自動的なモデル適合手法が提案されている。
論文参考訳（メタデータ） (2021-08-25T08:50:06Z)
An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
論文参考訳（メタデータ） (2021-03-05T00:02:18Z)
Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文参考訳（メタデータ） (2020-08-04T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。