論文の概要: Learning Visibility for Robust Dense Human Body Estimation

• arxiv url: http://arxiv.org/abs/2208.10652v1
• Date: Tue, 23 Aug 2022 00:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 13:15:48.458475
• Title: Learning Visibility for Robust Dense Human Body Estimation
• Title（参考訳）: 頑健な人体推定のための学習可視性
• Authors: Chun-Han Yao, Jimei Yang, Duygu Ceylan, Yi Zhou, Yang Zhou, Ming-Hsuan Yang
• Abstract要約: 2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。 部分的な観察に頑健な高密度な人体推定を学習する。 我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 78.37389398573882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating 3D human pose and shape from 2D images is a crucial yet challenging task. While prior methods with model-based representations can perform reasonably well on whole-body images, they often fail when parts of the body are occluded or outside the frame. Moreover, these results usually do not faithfully capture the human silhouettes due to their limited representation power of deformable models (e.g., representing only the naked body). An alternative approach is to estimate dense vertices of a predefined template body in the image space. Such representations are effective in localizing vertices within an image but cannot handle out-of-frame body parts. In this work, we learn dense human body estimation that is robust to partial observations. We explicitly model the visibility of human joints and vertices in the x, y, and z axes separately. The visibility in x and y axes help distinguishing out-of-frame cases, and the visibility in depth axis corresponds to occlusions (either self-occlusions or occlusions by other objects). We obtain pseudo ground-truths of visibility labels from dense UV correspondences and train a neural network to predict visibility along with 3D coordinates. We show that visibility can serve as 1) an additional signal to resolve depth ordering ambiguities of self-occluded vertices and 2) a regularization term when fitting a human body model to the predictions. Extensive experiments on multiple 3D human datasets demonstrate that visibility modeling significantly improves the accuracy of human body estimation, especially for partial-body cases. Our project page with code is at: https://github.com/chhankyao/visdb.
• Abstract（参考訳）: 2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。 モデルに基づく表現を持つ以前の手法は、全身のイメージに対して合理的に機能するが、身体の一部が隠されている場合やフレームの外にある場合、しばしば失敗する。 さらに、これらの結果は通常、変形可能なモデル(例えば、裸体のみを表す)の限られた表現力のため、人間のシルエットを忠実に捕獲しない。 別のアプローチは、画像空間内の予め定義されたテンプレート本体の密接な頂点を推定するものである。 このような表現は、画像内の頂点をローカライズするのに有効であるが、フレーム外のボディパーツを扱えない。 本研究では,部分的な観察に頑健な高密度な人体推定法を学習する。 我々は、X, y, z軸における人間の関節と頂点の視認性を、別々にモデル化する。 x および y 軸の可視性は、フレーム外ケースの識別に役立ち、深度軸の可視性は(他のオブジェクトによる自己閉塞や隠蔽)閉塞に対応する。 濃密なuv対応から視認性ラベルの疑似地対を求め、ニューラルネットワークを訓練し、3次元座標と共に視認性を予測する。 可視性は 1)自閉頂点の奥行き順序の曖昧さを解消するための追加信号 2)人体モデルを予測に適合させる際の正規化用語。 複数の3次元人体データセットに対する大規模な実験により、視認性モデリングは人体推定の精度、特に部分体の場合を大幅に改善することが示された。 コード付きプロジェクトページは、https://github.com/chhankyao/visdb.com/です。

関連論文リスト

• Predict joint angle of body parts based on sequence pattern recognition [5.371337604556311]
  エルゴノミストは、職場の視覚的観察に基づいて人間工学的リスクアセスメントを使用する。 作業員の身体の一部は、カメラの視野にはないかもしれない。 画像に写っていない場合、身体部分の位置を予測することは困難である。
  論文  参考訳（メタデータ） (2024-05-27T17:24:11Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• LASOR: Learning Accurate 3D Human Pose and Shape Via Synthetic Occlusion-Aware Data and Neural Mesh Rendering [3.007707487678111]
  シルエットと2Dキーポイントデータを合成し,SMPLのポーズと形状パラメータに直接回帰するフレームワークを提案する。 ニューラル3Dメッシュを利用して、シルエットの監督をオンザフライで行えるようにすることで、形状推定の大幅な改善に寄与する。 我々は3DPWデータセットのポーズ精度では最先端であり、形状精度ではランク1法より明らかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T02:09:16Z)
• 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
  本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。 我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
  論文  参考訳（メタデータ） (2021-05-21T14:41:31Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。