論文の概要: Semi-supervised Synthesis of High-Resolution Editable Textures for 3D
Humans
- arxiv url: http://arxiv.org/abs/2103.17266v1
- Date: Wed, 31 Mar 2021 17:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 16:09:07.982050
- Title: Semi-supervised Synthesis of High-Resolution Editable Textures for 3D
Humans
- Title(参考訳): 高分解能編集可能な3次元テクスチャの半教師付き合成
- Authors: Bindita Chaudhuri, Nikolaos Sarafianos, Linda Shapiro, Tony Tung
- Abstract要約: 半教師付き構成で3次元メッシュの多彩な高忠実度テクスチャマップを生成する新しい手法を提案する。
テクスチャマップ内のセマンティクス領域のレイアウトを定義するセグメンテーションマスクを考えると、ネットワークはさまざまなスタイルで高解像度のテクスチャを生成し、レンダリング目的に使用されます。
- 参考スコア(独自算出の注目度): 14.098628848491147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel approach to generate diverse high fidelity texture maps
for 3D human meshes in a semi-supervised setup. Given a segmentation mask
defining the layout of the semantic regions in the texture map, our network
generates high-resolution textures with a variety of styles, that are then used
for rendering purposes. To accomplish this task, we propose a Region-adaptive
Adversarial Variational AutoEncoder (ReAVAE) that learns the probability
distribution of the style of each region individually so that the style of the
generated texture can be controlled by sampling from the region-specific
distributions. In addition, we introduce a data generation technique to augment
our training set with data lifted from single-view RGB inputs. Our training
strategy allows the mixing of reference image styles with arbitrary styles for
different regions, a property which can be valuable for virtual try-on AR/VR
applications. Experimental results show that our method synthesizes better
texture maps compared to prior work while enabling independent layout and style
controllability.
- Abstract(参考訳): 半教師付き構成で3次元メッシュの多彩な高忠実度テクスチャマップを生成する新しい手法を提案する。
テクスチャマップのセマンティクス領域のレイアウトを定義するセグメンテーションマスクが与えられると、ネットワークは様々なスタイルで高解像度のテクスチャを生成し、レンダリングのために使用します。
そこで本研究では,各領域のパターンの確率分布を個別に学習する領域適応型逆変分オートエンコーダ(reavae)を提案する。
さらに,single-view rgb入力から取得したデータを用いて,トレーニングセットを増強するデータ生成手法を提案する。
我々のトレーニング戦略は、仮想的なAR/VRアプリケーションに有用なプロパティである、異なる領域の任意のスタイルに参照イメージスタイルを混ぜることを可能にします。
実験の結果,従来の作業と比較してテクスチャマップを合成し,独立したレイアウトとスタイル制御を可能にした。
関連論文リスト
- ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - 3D Paintbrush: Local Stylization of 3D Shapes with Cascaded Score
Distillation [21.703142822709466]
3D Paintbrushは、テキスト記述を通じてメッシュ上のセマンティックリージョンを自動的に局所化するテクニックである。
本手法はメッシュ上で直接動作し,テクスチャマップをシームレスに生成するように設計されている。
論文 参考訳(メタデータ) (2023-11-16T05:13:44Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳(メタデータ) (2023-10-20T19:15:29Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳(メタデータ) (2023-03-27T10:07:52Z) - Texture Representation via Analysis and Synthesis with Generative
Adversarial Networks [11.67779950826776]
本稿では,データ駆動型テクスチャモデリングを生成合成を用いた解析と合成により検討する。
合成にStyleGAN3を採用し、トレーニングデータに表される以上の多様なテクスチャを生成することを示した。
テクスチャ解析のために,合成テクスチャに対する新しい遅延整合性基準と,実際のテクスチャに対するグラミアンロスによる反復的改善を用いたGANを提案する。
論文 参考訳(メタデータ) (2022-12-20T03:57:11Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Vehicle Reconstruction and Texture Estimation Using Deep Implicit
Semantic Template Mapping [32.580904361799966]
車両の3次元形状と内在的なテクスチャを,非校正単分子入力から回収する有効なソリューションであるVERTEXを導入する。
グローバルな特徴とローカルな特徴を融合させることで、我々のアプローチは目に見える領域と見えない領域の両方で一貫した、詳細なテクスチャを生成することができる。
論文 参考訳(メタデータ) (2020-11-30T09:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。