論文の概要: SMPL-GPTexture: Dual-View 3D Human Texture Estimation using Text-to-Image Generation Models

• arxiv url: http://arxiv.org/abs/2504.13378v1
• Date: Thu, 17 Apr 2025 23:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:58:25.862613
• Title: SMPL-GPTexture: Dual-View 3D Human Texture Estimation using Text-to-Image Generation Models
• Title（参考訳）: SMPL-GPTexture:テキスト・画像生成モデルを用いた2次元人間のテクスチャ推定
• Authors: Mingxiao Tu, Shuchang Ye, Hoijoon Jung, Jinman Kim,
• Abstract要約: SMPL-GPTextureは、自然言語プロンプトを入力として取り、最先端のテキスト画像生成モデルを活用する、新しいパイプラインである。 パイプラインはユーザのプロンプトに合わせて高解像度なテクスチャを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 7.436391283592317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating high-quality, photorealistic textures for 3D human avatars remains a fundamental yet challenging task in computer vision and multimedia field. However, real paired front and back images of human subjects are rarely available with privacy, ethical and cost of acquisition, which restricts scalability of the data. Additionally, learning priors from image inputs using deep generative models, such as GANs or diffusion models, to infer unseen regions such as the human back often leads to artifacts, structural inconsistencies, or loss of fine-grained detail. To address these issues, we present SMPL-GPTexture (skinned multi-person linear model - general purpose Texture), a novel pipeline that takes natural language prompts as input and leverages a state-of-the-art text-to-image generation model to produce paired high-resolution front and back images of a human subject as the starting point for texture estimation. Using the generated paired dual-view images, we first employ a human mesh recovery model to obtain a robust 2D-to-3D SMPL alignment between image pixels and the 3D model's UV coordinates for each views. Second, we use an inverted rasterization technique that explicitly projects the observed colour from the input images into the UV space, thereby producing accurate, complete texture maps. Finally, we apply a diffusion-based inpainting module to fill in the missing regions, and the fusion mechanism then combines these results into a unified full texture map. Extensive experiments shows that our SMPL-GPTexture can generate high resolution texture aligned with user's prompts.
• Abstract（参考訳）: 3次元アバターのための高品質で光現実的なテクスチャを生成することは、コンピュータビジョンとマルチメディア分野における基本的な課題である。 しかしながら、人間の被写体の実際の対の前面画像と背面画像は、データのスケーラビリティを制限するプライバシー、倫理的コスト、取得コストを伴ってはめったに利用できない。 さらに、GANや拡散モデルなどの深層生成モデルを用いて画像入力から事前学習を行い、人間の背中のような見えない領域を推定することで、アーティファクト、構造上の不整合、きめ細かな詳細の喪失につながることが多い。 これらの問題に対処するために, SMPL-GPTexture (スキン付き多人線形モデル - 汎用テクスチャ) という, 自然言語のプロンプトを入力として活用し, 最先端のテキスト・画像生成モデルを用いて, 人間のテクスチャ推定の出発点として, 人体の2つの高解像度画像を生成する新しいパイプラインを提案する。 生成したデュアルビュー画像を用いて、まず人間のメッシュ回復モデルを用いて、画像画素と3次元モデルの紫外線座標との堅牢な2次元から3次元のSMPLアライメントを得る。 第二に、入力画像から紫外空間に観察された色を明示的に投影する逆ラスタ化手法を用いて、正確な完全なテクスチャマップを生成する。 最後に, 拡散型塗布モジュールを欠損領域を埋めるために適用し, 融合機構はこれらの結果を統合されたフルテクスチャマップに結合する。 SMPL-GPTextureはユーザのプロンプトに合わせて高分解能なテクスチャを生成することができる。

関連論文リスト

• RomanTex: Decoupling 3D-aware Rotary Positional Embedded Multi-Attention Network for Texture Synthesis [10.350576861948952]
  RomanTexはマルチビューベースのテクスチャ生成フレームワークで、マルチアテンションネットワークと基礎となる3D表現を統合している。 本手法はテクスチャの品質と整合性を実現する。
  論文  参考訳（メタデータ） (2025-03-24T17:56:11Z)
• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation [41.959089177835764]
  TexDreamerは、最初のゼロショットマルチモーダル高忠実度3Dヒューマンテクスチャ生成モデルである。 ArTicuLated humAn textureSは,最大解像度(1024×1024)のヒトテクスチャデータセットである。
  論文  参考訳（メタデータ） (2024-03-19T17:02:07Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• ConTex-Human: Free-View Rendering of Human from a Single Image with Texture-Consistent Synthesis [49.28239918969784]
  テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。 また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-11-28T13:55:53Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。