論文の概要: MUG: Multi-human Graph Network for 3D Mesh Reconstruction from 2D Pose

• arxiv url: http://arxiv.org/abs/2205.12583v3
• Date: Fri, 21 Jul 2023 18:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 01:09:39.435580
• Title: MUG: Multi-human Graph Network for 3D Mesh Reconstruction from 2D Pose
• Title（参考訳）: MUG:2次元空間からの3次元メッシュ再構成のためのマルチヒューマングラフネットワーク
• Authors: Chenyan Wu, Yandong Li, Xianfeng Tang, James Wang
• Abstract要約: 単一の単分子画像からマルチヒューマンボディメッシュを再構築することは重要な問題であるが、コンピュータビジョンの問題である。 本研究では,単一グラフニューラルネットワークを用いて,マルチヒューマン2次元ポーズのみを入力として,コヒーレントなマルチヒューマンメッシュを構築する。
• 参考スコア（独自算出の注目度）: 20.099670445427964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing multi-human body mesh from a single monocular image is an important but challenging computer vision problem. In addition to the individual body mesh models, we need to estimate relative 3D positions among subjects to generate a coherent representation. In this work, through a single graph neural network, named MUG (Multi-hUman Graph network), we construct coherent multi-human meshes using only multi-human 2D pose as input. Compared with existing methods, which adopt a detection-style pipeline (i.e., extracting image features and then locating human instances and recovering body meshes from that) and suffer from the significant domain gap between lab-collected training datasets and in-the-wild testing datasets, our method benefits from the 2D pose which has a relatively consistent geometric property across datasets. Our method works like the following: First, to model the multi-human environment, it processes multi-human 2D poses and builds a novel heterogeneous graph, where nodes from different people and within one person are connected to capture inter-human interactions and draw the body geometry (i.e., skeleton and mesh structure). Second, it employs a dual-branch graph neural network structure -- one for predicting inter-human depth relation and the other one for predicting root-joint-relative mesh coordinates. Finally, the entire multi-human 3D meshes are constructed by combining the output from both branches. Extensive experiments demonstrate that MUG outperforms previous multi-human mesh estimation methods on standard 3D human benchmarks -- Panoptic, MuPoTS-3D and 3DPW.
• Abstract（参考訳）: 単一の単眼画像からマルチヒューマンボディメッシュを再構築することは、重要なが挑戦的なコンピュータビジョンの問題である。 個々のボディーメッシュモデルに加えて,被験者間の相対的3d位置を推定し,コヒーレント表現を生成する必要がある。 本研究では,mug(multi-human graph network)と呼ばれる単一グラフニューラルネットワークを用いて,複数人の2dポーズのみを入力として,コヒーレントなマルチヒューマンメッシュを構築する。 検出スタイルのパイプライン(画像の特徴を抽出し、人間のインスタンスを抽出し、それからボディメッシュを回復する)を採用し、ラボで収集されたトレーニングデータセットとin-the-wildテストデータセットの間の大きなドメインギャップに苦しむ既存の方法と比較すると、この方法はデータセット間で比較的一貫した幾何学的特性を持つ2dポーズの恩恵を受ける。 まず、マルチヒューマン環境をモデル化するために、マルチヒューマン2Dのポーズを処理し、新しい異種グラフを構築します。 第2に,二重分岐グラフニューラルネットワーク構造 – 人間間の深さ関係の予測と,ルートジョイント関係メッシュ座標の予測だ。 最後に、両枝からの出力を組み合わせることで、全マルチヒューマン3Dメッシュを構築する。 MUGは従来のマルチヒューマンメッシュ推定手法(Panoptic, MuPoTS-3D, 3DPW)よりも優れていた。

関連論文リスト

• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
  我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。 また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。 提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-13T11:44:07Z)
• 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
  本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。 我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
  論文  参考訳（メタデータ） (2021-05-21T14:41:31Z)
• Monocular, One-stage, Regression of Multiple 3D People [105.3143785498094]
  我々は、複数の3D人物(ROMP)のための1段階方式で全てのメッシュを回帰することを提案する。 本手法は,体温マップとメッシュマップを同時に予測し,画素レベルの3Dボディメッシュを共同で記述する。 最先端の手法と比較して、ROMPは挑戦的なマルチパーソンベンチマークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-08-27T17:21:47Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach [76.10879433430466]
  多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。 まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。 単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
  論文  参考訳（メタデータ） (2020-03-25T00:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。