論文の概要: Learning 3D Human Shape and Pose from Dense Body Parts

• arxiv url: http://arxiv.org/abs/1912.13344v2
• Date: Sun, 6 Dec 2020 10:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:50:33.006847
• Title: Learning 3D Human Shape and Pose from Dense Body Parts
• Title（参考訳）: 密集した身体部位から3次元形状とポーズを学ぶ
• Authors: Hongwen Zhang, Jie Cao, Guo Lu, Wanli Ouyang, Zhenan Sun
• Abstract要約: 本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
• 参考スコア（独自算出の注目度）: 117.46290013548533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D human shape and pose from monocular images is challenging despite the promising results achieved by the most recent learning-based methods. The commonly occurred misalignment comes from the facts that the mapping from images to the model space is highly non-linear and the rotation-based pose representation of body models is prone to result in the drift of joint positions. In this work, we investigate learning 3D human shape and pose from dense correspondences of body parts and propose a Decompose-and-aggregate Network (DaNet) to address these issues. DaNet adopts the dense correspondence maps, which densely build a bridge between 2D pixels and 3D vertices, as intermediate representations to facilitate the learning of 2D-to-3D mapping. The prediction modules of DaNet are decomposed into one global stream and multiple local streams to enable global and fine-grained perceptions for the shape and pose predictions, respectively. Messages from local streams are further aggregated to enhance the robust prediction of the rotation-based poses, where a position-aided rotation feature refinement strategy is proposed to exploit spatial relationships between body joints. Moreover, a Part-based Dropout (PartDrop) strategy is introduced to drop out dense information from intermediate representations during training, encouraging the network to focus on more complementary body parts as well as neighboring position features. The efficacy of the proposed method is validated on both indoor and real-world datasets including Human3.6M, UP3D, COCO, and 3DPW, showing that our method could significantly improve the reconstruction performance in comparison with previous state-of-the-art methods. Our code is publicly available at https://hongwenzhang.github.io/dense2mesh .
• Abstract（参考訳）: 最近の学習に基づく手法で得られる有望な結果にもかかわらず、単眼画像から3次元の形状とポーズを再構成することは困難である。 一般的に発生するミスアライメントは、画像からモデル空間へのマッピングが極めて非線形であり、ボディモデルの回転に基づくポーズ表現が関節位置のドリフトをもたらすことに起因する。 本研究では,身体部分の密接な対応から3次元の人体形状を学習し,これらの課題に対処する分解・集約ネットワーク(DaNet)を提案する。 DaNetは2Dピクセルと3D頂点の間のブリッジを密に構築する密度の高い対応マップを中間表現として採用し、2Dから3Dマッピングの学習を容易にする。 danetの予測モジュールを1つのグローバルストリームと複数のローカルストリームに分解し、それぞれ形状とポーズ予測のグローバルおよび細かな知覚を可能にする。 局所ストリームからのメッセージはさらに集約され、回転に基づくポーズのロバストな予測が促進され、そこでは、身体関節間の空間的関係を活用するために、位置支援型回転特徴改善戦略が提案される。 さらに、パートベースドロップアウト(PartDrop)戦略を導入し、トレーニング中に中間表現から密集した情報をドロップアウトし、ネットワークがより補完的な身体部分と近隣の位置特徴に集中するように促す。 提案手法の有効性を,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証し,従来の最先端手法と比較して再現性を大幅に向上させることができることを示した。 私たちのコードはhttps://hongwenzhang.github.io/dense2meshで公開されています。

関連論文リスト

• Iterative Graph Filtering Network for 3D Human Pose Estimation [5.177947445379688]
  グラフ畳み込みネットワーク(GCN)は3次元人間のポーズ推定に有効な手法であることが証明されている。 本稿では,3次元ポーズ推定のための反復グラフフィルタリングフレームワークを提案する。 我々のアプローチは、ラプラシア正規化によるグラフフィルタリングを反復的に解くという考え方に基づいている。
  論文  参考訳（メタデータ） (2023-07-29T20:46:44Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• KTN: Knowledge Transfer Network for Learning Multi-person 2D-3D Correspondences [77.56222946832237]
  画像中の複数の人物の密着度を検出するための新しい枠組みを提案する。 提案手法は知識伝達ネットワーク(KTN)の2つの問題に対処する。 特徴解像度を同時に維持し、背景画素を抑圧し、この戦略は精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-06-21T03:11:37Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape Reconstruction [15.586347115568973]
  ヒト関節の3次元回転の解空間を明示的に正規化するキネマティック辞書を提案する。 ニューラルネットワークのトレーニング中にシェイプアノテーションを使わずに,エンドツーエンドの3D再構築を実現する。 提案手法は、Human3.6M, MPI-INF-3DHP, LSPなどの大規模データセットの競合結果を得る。
  論文  参考訳（メタデータ） (2021-04-02T09:24:29Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。