論文の概要: VMarker-Pro: Probabilistic 3D Human Mesh Estimation from Virtual Markers
- arxiv url: http://arxiv.org/abs/2303.11726v3
- Date: Sat, 25 May 2024 14:53:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 12:47:48.142872
- Title: VMarker-Pro: Probabilistic 3D Human Mesh Estimation from Virtual Markers
- Title（参考訳）: VMarker-Pro:仮想マーカーによる確率的3次元メッシュ推定
- Authors: Xiaoxuan Ma, Jiajun Su, Yuan Xu, Wentao Zhu, Chunyu Wang, Yizhou Wang,
- Abstract要約: 我々は,大規模なモキャップデータから学習した仮想マーカーとして,革新的な中間表現を導入する。
VMarkerは、野生の画像から仮想マーカーを検出し、これらのマーカーから現実的な形状の無傷メッシュを得ることができる。
VMarker-Proは、画像に整合した複数の可塑性メッシュを生成する確率的フレームワークである。
- 参考スコア（独自算出の注目度）: 35.18820570784145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular 3D human mesh estimation faces challenges due to depth ambiguity and the complexity of mapping images to complex parameter spaces. Recent methods propose to use 3D poses as a proxy representation, which often lose crucial body shape information, leading to mediocre performance. Conversely, advanced motion capture systems, though accurate, are impractical for markerless wild images. Addressing these limitations, we introduce an innovative intermediate representation as virtual markers, which are learned from large-scale mocap data, mimicking the effects of physical markers. Building upon virtual markers, we propose VMarker, which detects virtual markers from wild images, and the intact mesh with realistic shapes can be obtained by simply interpolation from these markers. To address occlusions that obscure 3D virtual marker estimation, we further enhance our method with VMarker-Pro, a probabilistic framework that generates multiple plausible meshes aligned with images. This framework models the 3D virtual marker estimation as a conditional denoising process, enabling robust 3D mesh estimation. Our approaches surpass existing methods on three benchmark datasets, particularly demonstrating significant improvements on the SURREAL dataset, which features diverse body shapes. Additionally, VMarker-Pro excels in accurately modeling data distributions, significantly enhancing performance in occluded scenarios. Code and models are available at https://github.com/ShirleyMaxx/VMarker-Pro.
- Abstract（参考訳）: 画像の深度あいまいさと複雑なパラメータ空間へのマッピングの複雑さにより、単眼の3Dヒューマンメッシュ推定は課題に直面している。
近年,3次元ポーズを代理表現として用いる手法が提案されている。
逆に、高度なモーションキャプチャシステムは正確ではあるが、マーカーレス野生画像では実用的ではない。
これらの制約に対処するために,大規模なモキャップデータから学習した仮想マーカーとしての革新的な中間表現を導入し,物理マーカーの効果を模倣する。
仮想マーカーに基づいて,野生の画像から仮想マーカーを検出するVMarkerを提案する。
VMarker-Proは,画像に整合した複数の可塑性メッシュを生成する確率的フレームワークである。
このフレームワークは、3D仮想マーカー推定を条件付き denoising プロセスとしてモデル化し、ロバストな3Dメッシュ推定を可能にする。
提案手法は,3つのベンチマークデータセットの既存手法を超越し,SURREALデータセットに大きな改善が加えられた。
さらに、VMarker-Proはデータの分散を正確にモデル化し、排他的シナリオのパフォーマンスを大幅に向上させる。
コードとモデルはhttps://github.com/ShirleyMaxx/VMarker-Proで入手できる。
関連論文リスト
- FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳（メタデータ） (2024-10-13T01:25:05Z) - PokeFlex: A Real-World Dataset of Deformable Objects for Robotics [17.533143584534155]
PokeFlexは3Dテクスチャメッシュ、ポイントクラウド、RGBイメージ、深度マップを含む、実世界のペアと注釈付きマルチモーダルデータを特徴とするデータセットである。
このようなデータは、オンライン3Dメッシュ再構築など、いくつかのダウンストリームタスクに活用することができる。
オンライン3Dメッシュ再構築におけるPokeFlexデータセットのユースケースを実演する。
論文 参考訳（メタデータ） (2024-10-10T07:54:17Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳（メタデータ） (2023-04-19T08:45:26Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳（メタデータ） (2023-04-17T13:49:04Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳（メタデータ） (2022-04-06T03:54:06Z) - Tracking People with 3D Representations [78.97070307547283]
ビデオ中の複数の人物を追跡する新しい手法を提案する。
従来の2次元表現を用いたアプローチとは違って,3次元空間における人物の3次元表現を用いる。
これらの環境下での3次元表現は2次元表現よりも効果的であることがわかった。
論文 参考訳（メタデータ） (2021-11-15T16:15:21Z) - SOMA: Solving Optical Marker-Based MoCap Automatically [56.59083192247637]
我々はSOMAと呼ばれる新しいニューラルネットワークを訓練し、モカプポイントの雲をさまざまな数のポイントで取り、それらを大規模にラベル付けする。
Somaは、3Dボディの空間構造を学ぶために、自己注意要素を積み重ねたアーキテクチャを利用する。
4つのデータセットにまたがる8時間以上のアーカイブモキャップデータを自動的にラベル付けします。
論文 参考訳（メタデータ） (2021-10-09T02:27:27Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:55:08Z) - Deep Virtual Markers for Articulated 3D Shapes [14.986945006208849]
本研究では,人間のような3次元調音モデルの3次元点を仮想マーカーラベルにマッピングするフレームワークを提案する。
スパース畳み込みニューラルネットワークを採用し、明瞭なモデルの3Dポイントを仮想マーカーラベルに分類する。
非剛性登録、テクスチャ転送、深度マップからのリアルタイム高密度マーカー予測などの仮想マーカーを用いた追加の応用を示す。
論文 参考訳（メタデータ） (2021-08-20T04:55:23Z) - HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D
Human Pose and Shape Estimation [39.67289969828706]
本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。
HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。
その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
論文 参考訳（メタデータ） (2020-11-30T10:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。