論文の概要: OSTeC: One-Shot Texture Completion

• arxiv url: http://arxiv.org/abs/2012.15370v1
• Date: Wed, 30 Dec 2020 23:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 07:04:31.065061
• Title: OSTeC: One-Shot Texture Completion
• Title（参考訳）: OSTeC:ワンショットテクスチャコンプリート
• Authors: Baris Gecer, Jiankang Deng, Stefanos Zafeiriou
• Abstract要約: ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
• 参考スコア（独自算出の注目度）: 86.23018402732748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The last few years have witnessed the great success of non-linear generative models in synthesizing high-quality photorealistic face images. Many recent 3D facial texture reconstruction and pose manipulation from a single image approaches still rely on large and clean face datasets to train image-to-image Generative Adversarial Networks (GANs). Yet the collection of such a large scale high-resolution 3D texture dataset is still very costly and difficult to maintain age/ethnicity balance. Moreover, regression-based approaches suffer from generalization to the in-the-wild conditions and are unable to fine-tune to a target-image. In this work, we propose an unsupervised approach for one-shot 3D facial texture completion that does not require large-scale texture datasets, but rather harnesses the knowledge stored in 2D face generators. The proposed approach rotates an input image in 3D and fill-in the unseen regions by reconstructing the rotated image in a 2D face generator, based on the visible parts. Finally, we stitch the most visible textures at different angles in the UV image-plane. Further, we frontalize the target image by projecting the completed texture into the generator. The qualitative and quantitative experiments demonstrate that the completed UV textures and frontalized images are of high quality, resembles the original identity, can be used to train a texture GAN model for 3DMM fitting and improve pose-invariant face recognition.
• Abstract（参考訳）: ここ数年は、高品質なフォトリアリスティックな顔画像の合成において、非線形生成モデルが大きな成功を収めている。 最近の3D顔テクスチャの再構築と、1つの画像アプローチからのポーズ操作は、画像から画像へのジェネレータネットワーク(GAN)をトレーニングする大規模でクリーンな顔データセットに依存している。 しかし、このような大規模な高解像度3dテクスチャデータセットの収集は、年齢と民族のバランスを維持するのに非常にコストがかかり、困難である。 さらに、回帰に基づくアプローチは、中間条件への一般化に悩まされ、目標像への微調整ができない。 本研究では,大規模なテクスチャデータセットを必要とせず,むしろ2d顔生成器に格納された知識を活用する,ワンショット3d顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法は、3次元の入力画像を回転させ、可視部に基づいて2次元顔生成器で回転画像を再構成することにより、未検出領域を充填する。 最後に、UV画像平面の異なる角度で最も目に見えるテクスチャを縫い合わせる。 さらに,完成したテクスチャをジェネレータに投影することで,対象画像をフロンダリゼーションする。 定性的かつ定量的な実験により,完成したuvテクスチャとフロントイメージは高品質であり,元のアイデンティティに類似しており,3dmmフィッティングのためのテクスチャganモデルのトレーニングやポーズ不変顔認識の改善に使用することができる。

関連論文リスト

• 3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation [0.8479659578608233]
  本稿では,StyleGAN と 3D Morphable Models を用いた単一画像からのテクスチャ推定手法を提案する。 その結果, 生成したメッシュは質が高く, テクスチャ表現がほぼ正確であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-21T13:42:06Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
  本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。 テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。 正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-10-10T10:59:04Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)
• Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks [32.859340851346786]
  本研究では,一眼レフ画像から高忠実度テクスチャで3次元顔形状を再構成する手法を提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-03-12T08:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。