論文の概要: FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy

• arxiv url: http://arxiv.org/abs/2503.17197v1
• Date: Fri, 21 Mar 2025 14:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:31.014514
• Title: FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy
• Title（参考訳）: FreeUV: クロスアセンブリ推論戦略による地表面自由現実的顔UVテクスチャ復元
• Authors: Xingchao Yang, Takafumi Taketomi, Yuki Endo, Yoshihiro Kanamori,
• Abstract要約: FreeUVは、注釈付きUVデータや合成UVデータの必要性をなくす、地中真実のないUVテクスチャリカバリフレームワークである。 我々のアプローチは複雑な顔の特徴を捉え、多様なポーズにまたがって堅牢なパフォーマンスを示す。 FreeUVは、現実世界のシナリオに適した高忠実な3D顔テクスチャを生成するためのスケーラブルなソリューションを提供する。
• 参考スコア（独自算出の注目度）: 2.9748898344267776
• License:
• Abstract: Recovering high-quality 3D facial textures from single-view 2D images is a challenging task, especially under constraints of limited data and complex facial details such as makeup, wrinkles, and occlusions. In this paper, we introduce FreeUV, a novel ground-truth-free UV texture recovery framework that eliminates the need for annotated or synthetic UV data. FreeUV leverages pre-trained stable diffusion model alongside a Cross-Assembly inference strategy to fulfill this objective. In FreeUV, separate networks are trained independently to focus on realistic appearance and structural consistency, and these networks are combined during inference to generate coherent textures. Our approach accurately captures intricate facial features and demonstrates robust performance across diverse poses and occlusions. Extensive experiments validate FreeUV's effectiveness, with results surpassing state-of-the-art methods in both quantitative and qualitative metrics. Additionally, FreeUV enables new applications, including local editing, facial feature interpolation, and multi-view texture recovery. By reducing data requirements, FreeUV offers a scalable solution for generating high-fidelity 3D facial textures suitable for real-world scenarios.
• Abstract（参考訳）: シングルビュー2D画像から高品質な3D顔テクスチャを復元することは、特に限られたデータや化粧、しわ、オクルージョンといった複雑な顔の詳細の制約の下で、難しい作業である。 本稿では, 注釈付きUVデータや合成UVデータの必要性を解消する, 基底構造のない新しいUVテクスチャ回復フレームワークであるFreeUVを紹介する。 FreeUVは、この目的を達成するために、クロスアセンブリ推論戦略とともに、事前訓練された安定拡散モデルを活用する。 FreeUVでは、個別のネットワークは現実的な外観と構造的整合性に集中するために独立して訓練され、これらのネットワークは推論中に組み合わせてコヒーレントなテクスチャを生成する。 本手法は, 複雑な顔の特徴を正確に捉え, 多様なポーズやオクルージョンにまたがる堅牢な性能を示す。 大規模な実験によりFreeUVの有効性が検証され、測定値と定性的指標の両方において最先端の手法を上回る結果が得られた。 さらにFreeUVは、ローカル編集、顔の特徴補間、マルチビューテクスチャリカバリなど、新しいアプリケーションを可能にする。 データ要求を減らすことで、FreeUVは現実世界のシナリオに適した高忠実な3D顔テクスチャを生成するスケーラブルなソリューションを提供する。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• UV-free Texture Generation with Denoising and Geodesic Heat Diffusions [50.55154348768031]
  メッシュの標準的なUVベースの処理機構の最も顕著な課題は、シーム、無駄なUV空間、および表面上の様々な解像度である。 本稿では,3次元メッシュの表面上での操作に制約された拡散モデルを用いて,テクスチャを色分けした点雲色として表現することを提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:57:05Z)
• SemUV: Deep Learning based semantic manipulation over UV texture map of virtual human heads [2.3523009382090323]
  本稿では,セムUVについて紹介する。セムUVは,FFHQ-UVデータセットを用いて,UVテクスチャ空間内でのセマンティックな操作を行う。 年齢、性別、顔の毛髪などの意味的特徴を効果的に修正しながら、アイデンティティを保存できる優れた能力を示す。
  論文  参考訳（メタデータ） (2024-06-28T20:58:59Z)
• Texture Generation on 3D Meshes with Point-UV Diffusion [86.69672057856243]
  本稿では, 粗い微細化パイプラインであるPoint-UV拡散モデルとUVマッピングを併用し, 高品質なテクスチャイメージをUV空間で生成する。 本手法は,任意の属のメッシュを処理し,多種多様で,幾何に適合し,高忠実度なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-21T06:20:54Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
  このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。 我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。 実験により,本手法は最先端手法よりも再現精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-25T03:21:05Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。