Fugu-MT 論文翻訳(概要): USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency

論文の概要: USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency

arxiv url: http://arxiv.org/abs/2302.10518v2
Date: Wed, 22 Feb 2023 07:07:16 GMT
ステータス: 処理完了
システム内更新日: 2023-02-23 12:08:27.735255
Title: USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency
Title（参考訳）: USR: 幾何学とセマンティック一貫性による非教師付き3次元衣服と人間の再構築
Authors: Yue Shi, Yuxuan Xiong, Jingyi Chai, Bingbing Ni, Wenjun Zhang
Abstract要約: 本研究では,人体を再構築し,テクスチャ化された衣服を3次元モデルなしで層状に再現する,非教師付き分離型3D衣服と人体再構成モデルを提案する。身近な多視点画像と身近な人物のジオメトリのマッピングを学習するための一般化した表面認識型ニューラルラジオアンス場を提案する。
参考スコア（独自算出の注目度）: 41.89803177312638
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dressed people reconstruction from images is a popular task with promising applications in the creative media and game industry. However, most existing methods reconstruct the human body and garments as a whole with the supervision of 3D models, which hinders the downstream interaction tasks and requires hard-to-obtain data. To address these issues, we propose an unsupervised separated 3D garments and human reconstruction model (USR), which reconstructs the human body and authentic textured clothes in layers without 3D models. More specifically, our method proposes a generalized surface-aware neural radiance field to learn the mapping between sparse multi-view images and geometries of the dressed people. Based on the full geometry, we introduce a Semantic and Confidence Guided Separation strategy (SCGS) to detect, segment, and reconstruct the clothes layer, leveraging the consistency between 2D semantic and 3D geometry. Moreover, we propose a Geometry Fine-tune Module to smooth edges. Extensive experiments on our dataset show that comparing with state-of-the-art methods, USR achieves improvements on both geometry and appearance reconstruction while supporting generalizing to unseen people in real time. Besides, we also introduce SMPL-D model to show the benefit of the separated modeling of clothes and the human body that allows swapping clothes and virtual try-on.
Abstract（参考訳）: 画像から着飾った人々の復元は、クリエイティブメディアやゲーム業界で有望な応用が盛んに行われている。しかし、既存の手法のほとんどは3dモデルの監督の下で人体と衣服全体を再構築し、下流の相互作用タスクを阻害し、観察しにくいデータを必要とする。そこで本研究では,3dモデルを用いずに人体を再構築する非教師付き分離型3d衣服およびヒト再構成モデル(usr)を提案する。より具体的には,多視点画像のスパースと服装者のジオメトリのマッピングを学ぶために,汎用的な表面認識ニューラルラミアンスフィールドを提案する。本研究は, セマンティック・信頼誘導分離戦略(SCGS)を導入し, 2次元意味論と3次元幾何学の整合性を活用し, 衣服層の検出, セグメント化, 再構築を行う。また,スムーズなエッジに対するGeometry Fine-Tune Moduleを提案する。データセット上での広範囲な実験により,最先端手法との比較により,usrの形状と外観の再現性が向上し,リアルタイムに認識できない人に一般化できることを示した。また,smpl-dモデルを導入し,衣服と人体の分離モデリングの利点を示し,衣服の交換や仮想試着を可能にした。

関連論文リスト

PGAHum: Prior-Guided Geometry and Appearance Learning for High-Fidelity Animatable Human Reconstruction [9.231326291897817]
我々はPGAHumを紹介した。PGAHumは、高忠実でアニマタブルな人体再構成のための、事前ガイダンス付き幾何学および外観学習フレームワークである。我々はPGAHumの3つの主要モジュールにおける3次元人体前駆体を徹底的に利用し、複雑な細部と見えないポーズのフォトリアリスティックなビュー合成による高品質な幾何再構成を実現する。
論文参考訳（メタデータ） (2024-04-22T04:22:30Z)
GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文参考訳（メタデータ） (2024-03-15T12:24:36Z)
GALA: Generating Animatable Layered Assets from a Single Scan [20.310367593475508]
GALAは, 単層布3次元メッシュを入力として, 完全な多層3次元アセットに分解するフレームワークである。出力は、他の資産と組み合わせて、新しい人間のアバターを作ることができる。
論文参考訳（メタデータ） (2024-01-23T18:59:59Z)
3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image [8.900009931200955]
本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。
論文参考訳（メタデータ） (2024-01-12T07:23:02Z)
Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文参考訳（メタデータ） (2022-08-04T14:13:35Z)
SHARP: Shape-Aware Reconstruction of People in Loose Clothing [6.469298908778292]
SHARP(Shape Aware Reconstruction of People in loose clothes)は、エンド・ツー・エンドのトレーニング可能な新しいネットワークである。モノクロ画像から、ゆるい服を着た人間の3D形状と外観を復元する。従来の最先端手法よりも質的かつ定量的な性能を示す。
論文参考訳（メタデータ） (2022-05-24T10:26:42Z)
3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective [96.65476492200648]
本研究は, 自己監督型3D衣料の再構築手法について検討することを目的とする。 1枚の2D画像から人間の衣服の形状やテクスチャを復元する。
論文参考訳（メタデータ） (2022-04-27T17:46:55Z)
Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
論文参考訳（メタデータ） (2021-04-19T13:21:55Z)
Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文参考訳（メタデータ） (2020-07-22T13:46:14Z)
Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
論文参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。