論文の概要: 3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network

• arxiv url: http://arxiv.org/abs/2206.09221v1
• Date: Sat, 18 Jun 2022 15:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:07:30.712759
• Title: 3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network
• Title（参考訳）: 表面パラメータ化と2次元意味セグメンテーションネットワークによる3次元顔解析
• Authors: Wenyuan Sun, Ping Zhou, Yangang Wang, Zongpu Yu, Jing Jin, Guangquan Zhou
• Abstract要約: 顔解析は、コンピュータの顔表現としてピクセル単位のセマンティックラベルを割り当てる。 近年の研究では3次元表面のセグメンテーションの異なる手法が導入されたが、性能は依然として限られている。 3D-2D-3D」戦略に基づく3次元顔解析手法を提案する。
• 参考スコア（独自算出の注目度）: 7.483526784933532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face parsing assigns pixel-wise semantic labels as the face representation for computers, which is the fundamental part of many advanced face technologies. Compared with 2D face parsing, 3D face parsing shows more potential to achieve better performance and further application, but it is still challenging due to 3D mesh data computation. Recent works introduced different methods for 3D surface segmentation, while the performance is still limited. In this paper, we propose a method based on the "3D-2D-3D" strategy to accomplish 3D face parsing. The topological disk-like 2D face image containing spatial and textural information is transformed from the sampled 3D face data through the face parameterization algorithm, and a specific 2D network called CPFNet is proposed to achieve the semantic segmentation of the 2D parameterized face data with multi-scale technologies and feature aggregation. The 2D semantic result is then inversely re-mapped to 3D face data, which finally achieves the 3D face parsing. Experimental results show that both CPFNet and the "3D-2D-3D" strategy accomplish high-quality 3D face parsing and outperform state-of-the-art 2D networks as well as 3D methods in both qualitative and quantitative comparisons.
• Abstract（参考訳）: 顔解析は、多くの高度な顔技術の基本部分であるコンピュータの顔表現としてピクセル単位のセマンティックラベルを割り当てる。 2d顔解析と比較すると、3d顔解析はより良いパフォーマンスとさらなるアプリケーションを実現する可能性を示していますが、それでも3dメッシュデータの計算が難しいです。 近年の研究では3次元表面のセグメンテーションの異なる手法が導入されたが、性能は依然として限られている。 本稿では,3d-2d-3d戦略に基づく3d顔解析手法を提案する。 空間的およびテクスチャ的な情報を含むトポロジカルディスク状2d顔画像は、顔パラメータ化アルゴリズムにより、サンプル化された3d顔データから変換され、cpfnetと呼ばれる特定の2dネットワークにより、マルチスケール技術と特徴集約による2dパラメータ化顔データのセマンティックセグメンテーションを実現する。 2d意味的結果が3d顔データに逆マップされ、最終的に3d顔解析が実現される。 実験の結果,CPFNet と "3D-2D-3D" の両戦略は,質的,定量的に比較して,高品質な3次元顔解析と最先端の2Dネットワークを実現することができた。

関連論文リスト

• Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
  TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。 FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2023-12-21T15:32:49Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• AutoShape: Real-Time Shape-Aware Monocular 3D Object Detection [15.244852122106634]
  形状認識型2D/3D制約を3D検出フレームワークに組み込む手法を提案する。 具体的には、ディープニューラルネットワークを用いて、2次元画像領域の区別された2Dキーポイントを学習する。 2D/3Dキーポイントの基礎的真理を生成するために、自動的なモデル適合手法が提案されている。
  論文  参考訳（メタデータ） (2021-08-25T08:50:06Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification [9.159921061636695]
  本稿では,2次元支援型深部3次元顔認証の枠組みを提案する。 特に,大規模な2次元顔データベースから数百万の3次元顔スキャンを再構築することを提案する。 提案手法はFRGC v2.0, Bosphorus, BU-3DFEの3次元顔データベース上で, 最先端のランク1スコアを実現する。
  論文  参考訳（メタデータ） (2020-10-16T13:48:38Z)
• Multi-channel Deep 3D Face Recognition [4.726009758066045]
  2次元顔認証の精度は、ポーズ、照明、メイクアップ、表情の変化によって依然として疑問視されている。 本稿では,3次元顔データに基づく顔認識のためのマルチチャネルディープ3次元顔ネットワークを提案する。 マルチチャネル深部3次元顔ネットワークの顔認識精度は98.6。
  論文  参考訳（メタデータ） (2020-09-30T15:29:05Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)
• FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
  単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
  論文  参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。