論文の概要: ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis
- arxiv url: http://arxiv.org/abs/2311.17123v1
- Date: Tue, 28 Nov 2023 13:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:55:22.072125
- Title: ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis
- Title（参考訳）: ConTex-Human: テクスチュア一貫性合成による単一画像からの人間の自由視点レンダリング
- Authors: Xiangjun Gao, Xiaoyu Li, Chaopeng Zhang, Qi Zhang, Yanpei Cao, Ying
Shan, Long Quan
- Abstract要約: テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
- 参考スコア（独自算出の注目度）: 49.28239918969784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a method to address the challenge of rendering a 3D
human from a single image in a free-view manner. Some existing approaches could
achieve this by using generalizable pixel-aligned implicit fields to
reconstruct a textured mesh of a human or by employing a 2D diffusion model as
guidance with the Score Distillation Sampling (SDS) method, to lift the 2D
image into 3D space. However, a generalizable implicit field often results in
an over-smooth texture field, while the SDS method tends to lead to a
texture-inconsistent novel view with the input image. In this paper, we
introduce a texture-consistent back view synthesis module that could transfer
the reference image content to the back view through depth and text-guided
attention injection. Moreover, to alleviate the color distortion that occurs in
the side region, we propose a visibility-aware patch consistency regularization
for texture mapping and refinement combined with the synthesized back view
texture. With the above techniques, we could achieve high-fidelity and
texture-consistent human rendering from a single image. Experiments conducted
on both real and synthetic data demonstrate the effectiveness of our method and
show that our approach outperforms previous baseline methods.
- Abstract（参考訳）: 本研究では,1つの画像から3次元人間を自由視点でレンダリングする課題を解決する手法を提案する。
既存のアプローチでは、一般化可能なピクセル配列の暗黙のフィールドを使用して人間のテクスチャメッシュを再構築したり、2次元拡散モデルをスコア蒸留サンプリング法(SDS)のガイダンスとして使用して、2次元画像を3次元空間に持ち上げることでこれを実現できる。
しかし、一般化可能な暗黙の場は、しばしばスムーズなテクスチャフィールドをもたらすが、SDS法は入力画像とのテクスチャに一貫性のない新しいビューをもたらす傾向がある。
本稿では,テクスチャに一貫性のあるバックビュー合成モジュールについて紹介する。
さらに, 側領域に生じる色歪みを緩和するために, 合成バックビューテクスチャと組み合わせたテクスチャマッピングと精細化のための可視性を考慮したパッチ一貫性の規則化を提案する。
以上の技術により、1つの画像から高忠実度かつテクスチャに一貫性のある人間のレンダリングを実現することができる。
実データと合成データの両方で行った実験は,本手法の有効性を示し,本手法が従来のベースライン法より優れていることを示す。
関連論文リスト
- R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [42.74145788079571]
R2Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-10T08:59:43Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳（メタデータ） (2023-10-20T19:15:29Z) - PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via
Denoised Score Distillation [89.09455618184239]
テキスト・ツー・3D世代における最近の進歩は画期的なものである。
そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。
奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
論文 参考訳（メタデータ） (2023-10-14T00:37:16Z) - Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T19:53:50Z) - TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。
表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
論文 参考訳（メタデータ） (2023-02-03T13:18:45Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳（メタデータ） (2021-09-06T16:00:20Z) - Vehicle Reconstruction and Texture Estimation Using Deep Implicit
Semantic Template Mapping [32.580904361799966]
車両の3次元形状と内在的なテクスチャを,非校正単分子入力から回収する有効なソリューションであるVERTEXを導入する。
グローバルな特徴とローカルな特徴を融合させることで、我々のアプローチは目に見える領域と見えない領域の両方で一貫した、詳細なテクスチャを生成することができる。
論文 参考訳（メタデータ） (2020-11-30T09:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。