論文の概要: Unpaired Multi-domain Attribute Translation of 3D Facial Shapes with a
Square and Symmetric Geometric Map
- arxiv url: http://arxiv.org/abs/2308.13245v1
- Date: Fri, 25 Aug 2023 08:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 14:42:33.331362
- Title: Unpaired Multi-domain Attribute Translation of 3D Facial Shapes with a
Square and Symmetric Geometric Map
- Title（参考訳）: 正方形と対称幾何写像を用いた3次元顔形状の非対数多領域属性変換
- Authors: Zhenfeng Fan, Zhiheng Zhang, Shuang Yang, Chongyang Zhong, Min Cao,
Shihong Xia
- Abstract要約: 本稿では3次元顔属性変換のための学習フレームワークを提案する。
我々は3次元形状表現に新しい幾何学的マップを使用し、それをエンド・ツー・エンドな生成対角ネットワークに埋め込む。
マルチドメイン属性変換には,統一的かつ不公平な学習フレームワークを採用している。
- 参考スコア（独自算出の注目度）: 23.461476902880584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While impressive progress has recently been made in image-oriented facial
attribute translation, shape-oriented 3D facial attribute translation remains
an unsolved issue. This is primarily limited by the lack of 3D generative
models and ineffective usage of 3D facial data. We propose a learning framework
for 3D facial attribute translation to relieve these limitations. Firstly, we
customize a novel geometric map for 3D shape representation and embed it in an
end-to-end generative adversarial network. The geometric map represents 3D
shapes symmetrically on a square image grid, while preserving the neighboring
relationship of 3D vertices in a local least-square sense. This enables
effective learning for the latent representation of data with different
attributes. Secondly, we employ a unified and unpaired learning framework for
multi-domain attribute translation. It not only makes effective usage of data
correlation from multiple domains, but also mitigates the constraint for hardly
accessible paired data. Finally, we propose a hierarchical architecture for the
discriminator to guarantee robust results against both global and local
artifacts. We conduct extensive experiments to demonstrate the advantage of the
proposed framework over the state-of-the-art in generating high-fidelity facial
shapes. Given an input 3D facial shape, the proposed framework is able to
synthesize novel shapes of different attributes, which covers some downstream
applications, such as expression transfer, gender translation, and aging. Code
at https://github.com/NaughtyZZ/3D_facial_shape_attribute_translation_ssgmap.
- Abstract（参考訳）: 画像指向の顔属性翻訳の進歩は目覚ましいが、形状指向の3D顔属性翻訳は未解決の問題のままである。
これは主に、3D生成モデルの欠如と、3D顔データの有効利用によって制限される。
これらの制約を緩和するために,3次元顔属性翻訳のための学習フレームワークを提案する。
まず,3次元形状表現のための新しい幾何マップをカスタマイズし,それをエンド・ツー・エンドの対向ネットワークに埋め込む。
幾何学的地図は、局所的な最小二乗意味で3次元頂点の隣接関係を保ちながら、正方形画像グリッド上で対称に3次元形状を表す。
これにより、異なる属性を持つデータの潜在表現を効果的に学習することができる。
第二に、多領域属性変換に統一的かつ不公平な学習フレームワークを用いる。
複数のドメインからのデータ相関を効果的に利用するだけでなく、アクセスしにくいペアデータに対する制約を軽減する。
最後に,グローバルアーティファクトとローカルアーティファクトの両方に対してロバストな結果を保証するための階層的アーキテクチャを提案する。
我々は,高忠実度顔形状の生成における最先端技術に対するフレームワークの利点を示すために,広範な実験を行った。
入力された3次元顔の形状から,表現伝達,ジェンダー翻訳,老化といった下流の応用を網羅した,異なる属性の新規な形状を合成することができる。
コード: https://github.com/naughtyzz/3d_facial_shape_attribute_translation_ssgmap。
関連論文リスト
- DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:58:15Z) - RAFaRe: Learning Robust and Accurate Non-parametric 3D Face
Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。
大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。
本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-10T19:40:26Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T06:40:46Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳（メタデータ） (2022-08-18T00:48:15Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳（メタデータ） (2022-05-05T17:59:55Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳（メタデータ） (2021-11-08T05:29:35Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:55:08Z) - Hard Example Generation by Texture Synthesis for Cross-domain Shape
Similarity Learning [97.56893524594703]
画像に基づく3次元形状検索(IBSR)は、与えられた2次元画像の対応する3次元形状を、大きな3次元形状データベースから見つけることを目的としている。
いくつかの適応技法によるメートル法学習は、類似性学習を形作るための自然な解決策のようです。
テクスチャ合成を応用した幾何中心の多視点メトリック学習フレームワークを開発した。
論文 参考訳（メタデータ） (2020-10-23T08:52:00Z) - FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed
Riggable 3D Face Prediction [39.95272819738226]
単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。
FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
論文 参考訳（メタデータ） (2020-03-31T07:11:08Z) - 3D Shape Segmentation with Geometric Deep Learning [2.512827436728378]
本稿では,部分分割問題としてセグメント化全体を解くために,3次元形状の3次元拡張ビューを生成するニューラルネットワークベースのアプローチを提案する。
提案手法は,公開データセットの3次元形状と,フォトグラム法を用いて再構成した実物体を用いて検証する。
論文 参考訳（メタデータ） (2020-02-02T14:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。