論文の概要: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

• arxiv url: http://arxiv.org/abs/2103.16507v2
• Date: Thu, 1 Apr 2021 11:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 10:49:56.229249
• Title: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop
• Title（参考訳）: ピラミッド型メッシュアライメントフィードバックループを用いた3次元人間のポーズと形状回帰
• Authors: Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, Zhenan Sun
• Abstract要約: 回帰に基づく手法は最近、単眼画像からヒトのメッシュを再構成する有望な結果を示した。 パラメータの小さな偏差は、推定メッシュと画像のエビデンスの間に顕著な不一致を引き起こす可能性がある。 本稿では,特徴ピラミッドを活用し,予測パラメータを補正するために,ピラミッドメッシュアライメントフィードバック(pymaf)ループを提案する。
• 参考スコア（独自算出の注目度）: 128.07841893637337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping from raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. Our code is publicly available at https://hongwenzhang.github.io/pymaf .
• Abstract（参考訳）: 回帰に基づく手法は、最近、単眼画像からヒトのメッシュを再構築する有望な結果を示している。 生のピクセルからモデルパラメータに直接マッピングすることで、ニューラルネットワークを介してパラメトリックモデルをフィードフォワードで生成することができる。 しかし、パラメータの小さな偏差は、推定メッシュと画像証拠の間に顕著な不一致をもたらす可能性がある。 この問題に対処するため、我々は、機能ピラミッドを活用し、深い回帰器のメッシュイメージアライメント状態に基づいて予測パラメータを明示的に修正するピラミッドメッシュアライメントフィードバック(PyMAF)ループを提案する。 現在予測されているパラメータから、PyMAFでは、より微細な特徴からメッシュに沿ったエビデンスを抽出し、パラメータの修正のためにフィードバックする。 ノイズを低減し,これらの証拠の信頼性を高めるため,特徴エンコーダに補助画素の監督を課し,空間的特徴の最も関連性の高い情報を保持するためのメッシュ画像対応ガイダンスを提供する。 提案手法の有効性はHuman3.6M, 3DPW, LSP, COCOなどいくつかのベンチマークで検証され, 実験結果から再現のメッシュイメージアライメントが一貫して改善されていることが示された。 私たちのコードはhttps://hongwenzhang.github.io/pymafで公開されています。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Delving Deep into Pixel Alignment Feature for Accurate Multi-view Human Mesh Recovery [37.57922952189394]
  多視点画像から高精度かつ効率的なヒューマンメッシュリカバリを実現するために,Pixel-aligned Feedback Fusion (PaFF) を提案する。 PaFFは、機能の抽出と融合を交互に実行する反復回帰フレームワークである。 本手法の有効性をHuman3.6Mデータセットで総合的アブレーション実験により検証した。
  論文  参考訳（メタデータ） (2023-01-15T05:31:52Z)
• Learnable human mesh triangulation for 3D human pose and shape estimation [6.699132260402631]
  関節回転と形状推定の精度は, マルチビュー画像からスキン付き多対人線形モデル(SMPL)に基づくヒューマンメッシュ再構成において, 比較的注目されていない。 本稿では,関節回転・形状再構成の曖昧さとネットワーク学習の困難さを解消する2段階の手法を提案する。 提案手法は, 接合部の回転および形状推定において従来よりも有意に優れており, 接合位置推定では競争性能が向上する。
  論文  参考訳（メタデータ） (2022-08-24T01:11:57Z)
• PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images [60.33197938330409]
  PyMAF-Xは、モノクロ画像からパラメトリックフルボディモデルを復元するための回帰ベースのアプローチである。 PyMAFとPyMAF-Xは、メッシュイメージアライメントを効果的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-07-13T17:58:33Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry [12.511526058118143]
  本稿では,SGDに基づく最適化アルゴリズムの一般化と高速収束を理論的に促進するサンプリング手法を提案する。 物体の反射対称性に基づいて,自己閉塞による問題を緩和する特徴融合法を提案する。 提案システムでは,単一入力画像から高品質な3Dオブジェクト再構成を行うことができる。
  論文  参考訳（メタデータ） (2020-07-27T09:17:00Z)
• Learning Nonparametric Human Mesh Reconstruction from a Single Image without Ground Truth Meshes [56.27436157101251]
  そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。 これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
  論文  参考訳（メタデータ） (2020-02-28T20:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。