論文の概要: BodyMap: Learning Full-Body Dense Correspondence Map

• arxiv url: http://arxiv.org/abs/2205.09111v1
• Date: Wed, 18 May 2022 17:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 13:56:38.706075
• Title: BodyMap: Learning Full-Body Dense Correspondence Map
• Title（参考訳）: BodyMap: フルボディディエンス対応マップを学習する
• Authors: Anastasia Ianina, Nikolaos Sarafianos, Yuanlu Xu, Ignacio Rocco, Tony Tung
• Abstract要約: BodyMapは,人体内画像と3Dテンプレートモデルの表面との間の高精細かつ連続的な対応関係を得るための新しいフレームワークである。 人間間の複雑な対応は、身体全体を理解するための基本的な問題を解決するために利用できる強力な意味情報を運ぶ。
• 参考スコア（独自算出の注目度）: 19.13654133912062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense correspondence between humans carries powerful semantic information that can be utilized to solve fundamental problems for full-body understanding such as in-the-wild surface matching, tracking and reconstruction. In this paper we present BodyMap, a new framework for obtaining high-definition full-body and continuous dense correspondence between in-the-wild images of clothed humans and the surface of a 3D template model. The correspondences cover fine details such as hands and hair, while capturing regions far from the body surface, such as loose clothing. Prior methods for estimating such dense surface correspondence i) cut a 3D body into parts which are unwrapped to a 2D UV space, producing discontinuities along part seams, or ii) use a single surface for representing the whole body, but none handled body details. Here, we introduce a novel network architecture with Vision Transformers that learn fine-level features on a continuous body surface. BodyMap outperforms prior work on various metrics and datasets, including DensePose-COCO by a large margin. Furthermore, we show various applications ranging from multi-layer dense cloth correspondence, neural rendering with novel-view synthesis and appearance swapping.
• Abstract（参考訳）: 人間間の密接な対応は、内部表面マッチング、追跡、再構築といった全身理解の基本的な問題を解決するために使用できる強力な意味情報を持っている。 本稿では,3dテンプレートモデルの表面と被衣人の内被写体像との高精細かつ連続的な対応を得るための新しい枠組みであるbodymapを提案する。 書簡は手や髪などの細かな細部をカバーし、ゆったりした衣服などの体表面から遠く離れた領域を捉えている。 高密度表面対応の事前推定法 一 立体体を二次元紫外線空間に含まない部分に切断し、部分縫合に沿って不連続を生じさせるもの 二 体全体を表わすために一面を用いるが、体の詳細を取扱わないこと。 本稿では、連続体表面の微細な特徴を学習するビジョントランスフォーマーを用いた新しいネットワークアーキテクチャを提案する。 BodyMapは、DensePose-COCOなど、さまざまなメトリクスやデータセットに関する以前の作業よりも、大きなマージンで優れている。 さらに,多層密布対応,ニューラルレンダリング,新規ビュー合成,外観スワップなど,様々な応用例を示す。

関連論文リスト

• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• 3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image [8.900009931200955]
  本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。 この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。 その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T07:23:02Z)
• Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences [9.487097819140653]
  布を交換するReIDのための新しい形状埋め込みパラダイムを提案する。 2D-3D対応に基づく形状埋め込みパラダイムは、モデル全体の人体形状の理解を著しく向上させる。 衣料品着替え時のReID研究を促進するため,初となる大規模布質変化型ReIDデータセットである3D Dense Persons (DP3D) を構築した。
  論文  参考訳（メタデータ） (2023-10-27T19:26:30Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• HumanGPS: Geodesic PreServing Feature for Dense Human Correspondences [60.89437526374286]
  先行芸術はフレーム間の小さな動きを仮定するか、または大きな動きや視覚的に曖昧な身体部分を扱うことができないローカル記述子に依存します。 本稿では,各画素を特徴空間にマッピングし,特徴距離が画素間の測地距離を反映する深層学習フレームワークを提案する。 セマンティックアノテーションがなければ、提案する埋め込みは自動的に学習し、視覚的に類似した部分を区別し、異なる主題を統一された機能空間にまとめる。
  論文  参考訳（メタデータ） (2021-03-29T12:43:44Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。