論文の概要: 3D Clothed Human Reconstruction in the Wild

• arxiv url: http://arxiv.org/abs/2207.10053v1
• Date: Wed, 20 Jul 2022 17:33:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:54:41.424973
• Title: 3D Clothed Human Reconstruction in the Wild
• Title（参考訳）: 野生における3次元衣服の再構築
• Authors: Gyeongsik Moon, Hyeongjin Nam, Takaaki Shiratori, Kyoung Mu Lee
• Abstract要約: ClothWildは、Wild内の画像のロバスト性に対処する、3Dの服を着た人間の再構築フレームワークである。 そこで本研究では,Wild データセットの2次元教師対象でトレーニング可能な弱教師付きパイプラインを提案する。 提案したClosWildは最先端の手法よりもはるかに正確で堅牢な結果が得られる。
• 参考スコア（独自算出の注目度）: 67.35107130310257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although much progress has been made in 3D clothed human reconstruction, most of the existing methods fail to produce robust results from in-the-wild images, which contain diverse human poses and appearances. This is mainly due to the large domain gap between training datasets and in-the-wild datasets. The training datasets are usually synthetic ones, which contain rendered images from GT 3D scans. However, such datasets contain simple human poses and less natural image appearances compared to those of real in-the-wild datasets, which makes generalization of it to in-the-wild images extremely challenging. To resolve this issue, in this work, we propose ClothWild, a 3D clothed human reconstruction framework that firstly addresses the robustness on in-thewild images. First, for the robustness to the domain gap, we propose a weakly supervised pipeline that is trainable with 2D supervision targets of in-the-wild datasets. Second, we design a DensePose-based loss function to reduce ambiguities of the weak supervision. Extensive empirical tests on several public in-the-wild datasets demonstrate that our proposed ClothWild produces much more accurate and robust results than the state-of-the-art methods. The codes are available in here: https://github.com/hygenie1228/ClothWild_RELEASE.
• Abstract（参考訳）: 3D服の復元には多くの進歩があったが、既存の手法のほとんどは、さまざまな人間のポーズや外観を含む、眼内画像から堅牢な結果を得ることができなかった。 これは主に、トレーニングデータセットとインザワイルドデータセットの間の大きなドメインギャップに起因する。 トレーニングデータセットは通常、GT 3Dスキャンのレンダリング画像を含む合成データセットである。 しかし、そのようなデータセットには単純な人間のポーズが含まれており、実際のアプリ内データセットと比べて自然な画像の出現は少ない。 この問題を解決するために,本研究では,まず3次元布地を用いた人間の再構築フレームワークであるClosWildを提案する。 まず、ドメインギャップに対するロバスト性について、2Dの監視対象であるWildデータセットをトレーニング可能な弱教師付きパイプラインを提案する。 第二に、弱い監督の曖昧さを軽減するために、DensePoseに基づく損失関数を設計する。 提案したClosWildは、最先端の手法よりもはるかに正確で堅牢な結果が得られることを示す。 コードはここにある。 https://github.com/hygenie1228/ClothWild_RELEASE。

関連論文リスト

• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
  10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。 この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
  論文  参考訳（メタデータ） (2022-10-05T13:10:19Z)
• Disentangling 3D Attributes from a Single 2D Image: Human Pose, Shape and Garment [20.17991487155361]
  本研究では,2次元画像データのみから不整合3次元属性を抽出する課題に焦点をあてる。 本手法は,これら3つの画像特性の非絡み合った潜在表現を用いた埋め込みを学習する。 本研究では, 暗黙的な形状の損失が, モデルが微細な復元の詳細を復元する上で, どのような効果があるかを示す。
  論文  参考訳（メタデータ） (2022-08-05T13:48:43Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• AGORA: Avatars in Geography Optimized for Regression Analysis [35.22486186509372]
  AGORAは、高いリアリズムと高精度な地上真実を持つ合成データセットである。 SMPL-Xのボディモデル(顔と手)を3Dスキャンに合わせることで、参照3Dポーズと体形を作成する。 このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを見出した。
  論文  参考訳（メタデータ） (2021-04-29T20:33:25Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)
• Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
  3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
  論文  参考訳（メタデータ） (2020-04-21T13:31:58Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。