論文の概要: Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2003.10873v2
• Date: Fri, 29 Jan 2021 08:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 09:18:06.302778
• Title: Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering
• Title（参考訳）: 部分微分レンダリングによるヒト単眼のポーズと形状再構成
• Authors: Min Wang, Feng Qiu, Wentao Liu, Chen Qian, Xiaowei Zhou, Lizhuang Ma
• Abstract要約: 近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
• 参考スコア（独自算出の注目度）: 53.16864661460889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Superior human pose and shape reconstruction from monocular images depends on removing the ambiguities caused by occlusions and shape variance. Recent works succeed in regression-based methods which estimate parametric models directly through a deep neural network supervised by 3D ground truth. However, 3D ground truth is neither in abundance nor can efficiently be obtained. In this paper, we introduce body part segmentation as critical supervision. Part segmentation not only indicates the shape of each body part but helps to infer the occlusions among parts as well. To improve the reconstruction with part segmentation, we propose a part-level differentiable renderer that enables part-based models to be supervised by part segmentation in neural networks or optimization loops. We also introduce a general parametric model engaged in the rendering pipeline as an intermediate representation between skeletons and detailed shapes, which consists of primitive geometries for better interpretability. The proposed approach combines parameter regression, body model optimization, and detailed model registration altogether. Experimental results demonstrate that the proposed method achieves balanced evaluation on pose and shape, and outperforms the state-of-the-art approaches on Human3.6M, UP-3D and LSP datasets.
• Abstract（参考訳）: 単眼画像からの人物のポーズと形状の復元は、閉塞や形状のばらつきによる曖昧さの除去に依存する。 最近の研究は、3次元基底真理によって監視された深層ニューラルネットワークを通してパラメトリックモデルを直接推定する回帰に基づく手法に成功している。 しかし、3D地上の真理は豊富でなく、効率的に得られない。 本稿では,身体部分のセグメンテーションを批判的監督として紹介する。 部分分割は各部位の形状を示すだけでなく、部分間の閉塞も推測するのに役立つ。 部分分割による再構成を改善するために,ニューラルネットワークや最適化ループにおける部分分割によって部分ベースモデルを制御可能な部分レベル微分可能レンダラを提案する。 また,スケルトンと詳細な形状の中間表現としてレンダリングパイプラインに係わる一般的なパラメトリックモデルについても紹介する。 提案手法はパラメータ回帰,ボディモデル最適化,詳細なモデル登録を組み合わせる。 実験の結果,提案手法はポーズと形状のバランスのとれた評価を達成し,ヒト3.6m,up-3d,lspデータセットにおける最先端のアプローチを上回った。

関連論文リスト

• DeFormer: Integrating Transformers with Deformable Models for 3D Shape Abstraction from a Single Image [31.154786931081087]
  本稿では,パラメータ化デフォルマブルモデルと統合された新しいバイチャネルトランスフォーマアーキテクチャを提案し,プリミティブのグローバルおよび局所的な変形を同時に推定する。 DeFormerは、最先端技術よりもより良い再構築精度を実現し、一貫したセマンティック対応で可視化し、解釈性を向上させる。
  論文  参考訳（メタデータ） (2023-09-22T02:46:43Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• ANISE: Assembly-based Neural Implicit Surface rEconstruction [12.745433575962842]
  本稿では,部分的な観測から3次元形状を再構成するANISEについて述べる。 形状は神経暗黙の関数の集合として定式化され、それぞれが異なる部分のインスタンスを表す。 本研究では,部品表現を暗黙の関数に復号化して再構成を行う場合,画像とスパース点の雲から最先端の部品認識再構成結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-27T00:01:40Z)
• The Best of Both Worlds: Combining Model-based and Nonparametric Approaches for 3D Human Body Estimation [20.797162096899154]
  本稿では,グローバル画像特徴量からモデルパラメータを推定するフレームワークを提案する。 密度マップ予測モジュールは、画像証拠と身体モデルの各部分との間の密度UV対応を明確に確立する。 逆キネマティクスモジュールはキーポイント予測を洗練し、テンプレートメッシュを生成する。 紫外線塗布モジュールは、対応する特徴、予測、提案されたテンプレートに依存し、閉塞した身体形状の予測を完了させる。
  論文  参考訳（メタデータ） (2022-05-01T16:39:09Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Learning Nonparametric Human Mesh Reconstruction from a Single Image without Ground Truth Meshes [56.27436157101251]
  そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。 これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
  論文  参考訳（メタデータ） (2020-02-28T20:30:07Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。