論文の概要: 3D Human Mesh Estimation from Virtual Markers
- arxiv url: http://arxiv.org/abs/2303.11726v1
- Date: Tue, 21 Mar 2023 10:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 15:33:11.563982
- Title: 3D Human Mesh Estimation from Virtual Markers
- Title(参考訳): 仮想マーカーによる3次元メッシュ推定
- Authors: Xiaoxuan Ma, Jiajun Su, Chunyu Wang, Wentao Zhu, Yizhou Wang
- Abstract要約: 体表面上の64個のランドマークキーポイントを学習する仮想マーカーを中間表現として提示する。
提案手法は3つのデータセット上で最先端の手法より優れている。
- 参考スコア(独自算出の注目度): 28.27230398677691
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by the success of volumetric 3D pose estimation, some recent human
mesh estimators propose to estimate 3D skeletons as intermediate
representations, from which, the dense 3D meshes are regressed by exploiting
the mesh topology. However, body shape information is lost in extracting
skeletons, leading to mediocre performance. The advanced motion capture systems
solve the problem by placing dense physical markers on the body surface, which
allows to extract realistic meshes from their non-rigid motions. However, they
cannot be applied to wild images without markers. In this work, we present an
intermediate representation, named virtual markers, which learns 64 landmark
keypoints on the body surface based on the large-scale mocap data in a
generative style, mimicking the effects of physical markers. The virtual
markers can be accurately detected from wild images and can reconstruct the
intact meshes with realistic shapes by simple interpolation. Our approach
outperforms the state-of-the-art methods on three datasets. In particular, it
surpasses the existing methods by a notable margin on the SURREAL dataset,
which has diverse body shapes. Code is available at
https://github.com/ShirleyMaxx/VirtualMarker.
- Abstract(参考訳): 体積的3次元ポーズ推定の成功に触発されて、最近のヒトメッシュ推定者は、3次元の骨格を中間表現として推定することを提案している。
しかし、体型情報は骨格の抽出によって失われ、平凡なパフォーマンスに繋がる。
高度なモーションキャプチャシステムは、体表面に密集した物理的マーカーを配置することで、その非剛性運動から現実的なメッシュを抽出することで問題を解決している。
しかし、マーカーなしでは野生の画像には適用できない。
本研究では,大規模mocapデータに基づいて体表面の64個のランドマークキーポイントを生成的に学習し,物理的マーカーの効果を模倣した中間表現であるvirtual markersを提案する。
仮想マーカーは野生の画像から正確に検出することができ、単純な補間によって現実的な形状で無傷メッシュを再構築することができる。
提案手法は3つのデータセット上で最先端の手法より優れている。
特に、様々な身体形状を持つSURREALデータセットにおいて、既存の手法を顕著な差で上回っている。
コードはhttps://github.com/ShirleyMaxx/VirtualMarker.comで入手できる。
関連論文リスト
- Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Back to Reality: Weakly-supervised 3D Object Detection with Shape-guided
Label Enhancement [93.77156425817178]
本研究では,3次元物体検出のための弱教師付きアプローチを提案する。
我々の手法、すなわちBack to Reality (BR)は、弱いラベルを完全な注釈付き仮想シーンに変換するために合成された3D形状を利用する。
ラベル付け作業の5%未満で、広く使用されているScanNetデータセットに対して、一般的なフル教師付きアプローチを用いて、同等な検出性能を達成する。
論文 参考訳(メタデータ) (2022-03-10T08:51:32Z) - Tracking People with 3D Representations [78.97070307547283]
ビデオ中の複数の人物を追跡する新しい手法を提案する。
従来の2次元表現を用いたアプローチとは違って,3次元空間における人物の3次元表現を用いる。
これらの環境下での3次元表現は2次元表現よりも効果的であることがわかった。
論文 参考訳(メタデータ) (2021-11-15T16:15:21Z) - SOMA: Solving Optical Marker-Based MoCap Automatically [56.59083192247637]
我々はSOMAと呼ばれる新しいニューラルネットワークを訓練し、モカプポイントの雲をさまざまな数のポイントで取り、それらを大規模にラベル付けする。
Somaは、3Dボディの空間構造を学ぶために、自己注意要素を積み重ねたアーキテクチャを利用する。
4つのデータセットにまたがる8時間以上のアーカイブモキャップデータを自動的にラベル付けします。
論文 参考訳(メタデータ) (2021-10-09T02:27:27Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:55:08Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳(メタデータ) (2021-08-31T18:33:55Z) - Deep Virtual Markers for Articulated 3D Shapes [14.986945006208849]
本研究では,人間のような3次元調音モデルの3次元点を仮想マーカーラベルにマッピングするフレームワークを提案する。
スパース畳み込みニューラルネットワークを採用し、明瞭なモデルの3Dポイントを仮想マーカーラベルに分類する。
非剛性登録、テクスチャ転送、深度マップからのリアルタイム高密度マーカー予測などの仮想マーカーを用いた追加の応用を示す。
論文 参考訳(メタデータ) (2021-08-20T04:55:23Z) - HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D
Human Pose and Shape Estimation [39.67289969828706]
本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。
HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。
その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
論文 参考訳(メタデータ) (2020-11-30T10:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。