論文の概要: Generating Diverse 3D Reconstructions from a Single Occluded Face Image
- arxiv url: http://arxiv.org/abs/2112.00879v1
- Date: Wed, 1 Dec 2021 23:13:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 15:36:27.612498
- Title: Generating Diverse 3D Reconstructions from a Single Occluded Face Image
- Title（参考訳）: 単一付加顔画像からの逆3次元再構成の生成
- Authors: Rahul Dey and Vishnu Naresh Boddeti
- Abstract要約: 本研究では,1つの隠蔽顔画像から多彩で現実的な3D再構成を同時に生成するDiverse3DFaceを提案する。
Diverse3DFaceは、マスク、メガネ、その他のランダムな物体に隠蔽された顔画像に対して、ベースラインと比較して、隠蔽領域に50%の多様性を有する3D形状の分布を生成する。
- 参考スコア（独自算出の注目度）: 18.073864874996534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Occlusions are a common occurrence in unconstrained face images. Single image
3D reconstruction from such face images often suffers from corruption due to
the presence of occlusions. Furthermore, while a plurality of 3D
reconstructions is plausible in the occluded regions, existing approaches are
limited to generating only a single solution. To address both of these
challenges, we present Diverse3DFace, which is specifically designed to
simultaneously generate a diverse and realistic set of 3D reconstructions from
a single occluded face image. It consists of three components: a global+local
shape fitting process, a graph neural network-based mesh VAE, and a
Determinantal Point Process based diversity promoting iterative optimization
procedure. Quantitative and qualitative comparisons of 3D reconstruction on
occluded faces show that Diverse3DFace can estimate 3D shapes that are
consistent with the visible regions in the target image while exhibiting high,
yet realistic, levels of diversity on the occluded regions. On face images
occluded by masks, glasses, and other random objects, Diverse3DFace generates a
distribution of 3D shapes having ~50% higher diversity on the occluded regions
compared to the baselines. Moreover, our closest sample to the ground truth has
~40% lower MSE than the singular reconstructions by existing approaches.
- Abstract（参考訳）: 咬合は、制約のない顔画像でよく見られる現象である。
このような顔画像からの単一画像3D再構成は、咬合の有無によってしばしば腐敗に悩まされる。
さらに、閉鎖領域では複数の3次元再構成が可能であるのに対して、既存のアプローチは単一の解しか生成できない。
両課題に対処するために,1つの隠蔽顔画像から多種多様なリアルな3D再構成セットを同時に生成するDiverse3DFaceを提案する。
グローバル/ローカルなシェイプフィッティングプロセス、グラフニューラルネットワークベースのメッシュvae、反復最適化手順を促進する決定的ポイントプロセスに基づく多様性の3つのコンポーネントで構成されている。
occluded faceにおける3次元再構成の定量的・定性的比較により,3dfaceは対象画像の可視領域と整合する3次元形状を推定できる一方で,occluded領域において高い,かつ現実的な多様性を示すことが示された。
Diverse3DFaceは、マスク、メガネ、その他のランダムな物体によって隠蔽された顔画像に対して、ベースラインに比べて閉塞された領域に約50%の多様性を有する3D形状の分布を生成する。
さらに, 基底真理に最も近いサンプルは, 既存手法による特異な再構成よりも約40%低値である。
関連論文リスト
- OFER: Occluded Face Expression Reconstruction [16.06622406877353]
OFERは,多彩で表現力に富んだ3次元顔を生成することのできる,単一画像の3次元顔再構成のための新しいアプローチである。
本稿では,予測された形状精度スコアに基づいて形状拡散ネットワークの出力をソートし,最適マッチングを選択する新しいランキング機構を提案する。
論文 参考訳（メタデータ） (2024-10-29T00:21:26Z) - Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。
私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
論文 参考訳（メタデータ） (2024-09-25T14:56:37Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳（メタデータ） (2021-12-11T11:36:30Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳（メタデータ） (2021-12-05T07:02:53Z) - Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。
各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文 参考訳（メタデータ） (2021-01-06T13:15:21Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。
複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
論文 参考訳（メタデータ） (2020-07-08T09:35:26Z) - AvatarMe: Realistically Renderable 3D Facial Reconstruction
"in-the-wild" [105.28776215113352]
AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。
6K解像度の3D画像を1枚の低解像度画像から再現する。
論文 参考訳（メタデータ） (2020-03-30T22:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。