論文の概要: Generating Texture for 3D Human Avatar from a Single Image using
Sampling and Refinement Networks
- arxiv url: http://arxiv.org/abs/2305.00936v1
- Date: Mon, 1 May 2023 16:44:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 12:45:58.115260
- Title: Generating Texture for 3D Human Avatar from a Single Image using
Sampling and Refinement Networks
- Title（参考訳）: サンプリング・リファインメントネットワークを用いた単一画像からの3次元アバターのテクスチャ生成
- Authors: Sihun Cha, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh
- Abstract要約: 幾何学情報を組み込んだ3次元アバターのテクスチャ合成法を提案する。
サンプルネットワークは、ソース画像の隠蔽領域を埋め、テクスチャをターゲット3Dメッシュの表面と整列させる。
与えられた画像の鮮明な詳細を維持するため、サンプリングされたテクスチャと精製されたテクスチャを混合して最終テクスチャマップを生成する。
- 参考スコア（独自算出の注目度）: 8.659903550327442
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: There has been significant progress in generating an animatable 3D human
avatar from a single image. However, recovering texture for the 3D human avatar
from a single image has been relatively less addressed. Because the generated
3D human avatar reveals the occluded texture of the given image as it moves, it
is critical to synthesize the occluded texture pattern that is unseen from the
source image. To generate a plausible texture map for 3D human avatars, the
occluded texture pattern needs to be synthesized with respect to the visible
texture from the given image. Moreover, the generated texture should align with
the surface of the target 3D mesh. In this paper, we propose a texture
synthesis method for a 3D human avatar that incorporates geometry information.
The proposed method consists of two convolutional networks for the sampling and
refining process. The sampler network fills in the occluded regions of the
source image and aligns the texture with the surface of the target 3D mesh
using the geometry information. The sampled texture is further refined and
adjusted by the refiner network. To maintain the clear details in the given
image, both sampled and refined texture is blended to produce the final texture
map. To effectively guide the sampler network to achieve its goal, we designed
a curriculum learning scheme that starts from a simple sampling task and
gradually progresses to the task where the alignment needs to be considered. We
conducted experiments to show that our method outperforms previous methods
qualitatively and quantitatively.
- Abstract（参考訳）: 単一の画像からアニマタブルな3D人間のアバターを生成するには大きな進歩があった。
しかし,1枚の画像から3次元アバターのテクスチャを復元することは比較的少ない。
生成した3次元人間のアバターは、動いたときの隠蔽テクスチャを明らかにするため、ソース画像から見えない隠蔽テクスチャパターンを合成することが重要である。
3次元アバターの可視性テクスチャマップを生成するには、所定の画像から可視性テクスチャに対してオクルードテクスチャパターンを合成する必要がある。
さらに、生成したテクスチャは、ターゲット3Dメッシュの表面と整合するべきである。
本稿では,幾何学情報を組み込んだ3次元アバターのテクスチャ合成法を提案する。
提案手法は, サンプリング・精製プロセスのための2つの畳み込みネットワークからなる。
サンプルネットワークは、ソース画像の隠蔽領域を埋め、形状情報を用いて、ターゲット3Dメッシュの表面とテクスチャを整列する。
試料テクスチャはさらに精製され、精製器ネットワークによって調整される。
与えられた画像の鮮明な詳細を維持するため、サンプリングされたテクスチャと精製されたテクスチャを混合して最終テクスチャマップを生成する。
目的を達成するために,サンプルネットワークを効果的にガイドするために,簡単なサンプリングタスクから始まるカリキュラム学習スキームを設計し,アライメントを考慮すべきタスクへと徐々に前進させた。
本手法は,従来の手法よりも質的,定量的に優れることを示す実験を行った。
関連論文リスト
- TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳（メタデータ） (2024-01-17T18:55:49Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。
我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。
これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
論文 参考訳（メタデータ） (2023-03-21T16:21:02Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳（メタデータ） (2023-02-03T13:18:45Z) - Projective Urban Texturing [8.349665441428925]
没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。
Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。
PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
論文 参考訳（メタデータ） (2022-01-25T14:56:52Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-08-18T07:44:21Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。
提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
論文 参考訳（メタデータ） (2020-10-23T21:07:59Z) - Novel-View Human Action Synthesis [39.72702883597454]
対象視点を合成する新しい3D推論を提案する。
まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。
本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
論文 参考訳（メタデータ） (2020-07-06T15:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。