論文の概要: PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images

• arxiv url: http://arxiv.org/abs/2207.06400v1
• Date: Wed, 13 Jul 2022 17:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 15:00:14.440972
• Title: PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images
• Title（参考訳）: PyMAF-X:単眼画像からの完全体モデル回帰に向けて
• Authors: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, Yebin Liu
• Abstract要約: パラメータの小さな偏差は、推定メッシュと入力イメージの間に顕著な不一致を引き起こす可能性がある。 本稿では,人間のメッシュ回復のための回帰ネットワークにおけるピラミッドメッシュアライメントフィードバックループを提案し,それをPyMAF-Xに拡張し,表現力のあるフルボディモデルの復元を行う。 本手法の有効性を,体のみおよび全体メッシュ回復のためのいくつかのベンチマークデータセットで検証した。
• 参考スコア（独自算出の注目度）: 60.33197938330409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression-based methods can estimate body, hand, and even full-body models from monocular images by directly mapping raw pixels to the model parameters in a feed-forward manner. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and input images, especially in the context of full-body mesh recovery. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop in our regression network for well-aligned human mesh recovery and extend it to PyMAF-X for the recovery of expressive full-body models. The core idea of PyMAF is to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status. Specifically, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To enhance the alignment perception, an auxiliary dense supervision is employed to provide mesh-image correspondence guidance while a spatial alignment attention is introduced to enable the awareness of the global contexts for our network. When extending PyMAF for full-body mesh recovery, an adaptive integration strategy is proposed in PyMAF-X to adjust the elbow-twist rotations, which produces natural wrist poses while maintaining the well-aligned performance of the part-specific estimations. The efficacy of our approach is validated on several benchmark datasets for body-only and full-body mesh recovery, where PyMAF and PyMAF-X effectively improve the mesh-image alignment and achieve new state-of-the-art results. The project page with code and video results can be found at https://www.liuyebin.com/pymaf-x.
• Abstract（参考訳）: 回帰に基づく手法は、生のピクセルを直接モデルパラメータにフィードフォワードでマッピングすることで、単眼画像から体、手、さらには全身モデルを推定することができる。 しかし、パラメータの小さな偏差は、特にフルボディメッシュ回復の文脈において、推定メッシュと入力イメージの間に顕著な不一致を引き起こす可能性がある。 この問題に対処するため,我々の回帰ネットワークにおけるPyMAF(Maraamidal Mesh Alignment Feedback)ループを提案し,それをPyMAF-Xに拡張し,表現力のあるフルボディモデルのリカバリを行う。 PyMAFの中核となる考え方は、機能ピラミッドを活用して、メッシュイメージのアライメントステータスに基づいて、予測されたパラメータを明示的に修正することだ。 具体的には、現在予測されているパラメータから、より微細な特徴からメッシュに沿ったエビデンスを抽出し、パラメータの修正をフィードバックする。 アライメントの知覚を高めるため、メッシュイメージ対応ガイダンスを提供するために補助的な高密度監視装置を採用し、空間アライメントの注意を払って、ネットワークのグローバルなコンテキストの認識を可能にする。 フルボディメッシュリカバリのためにpymafを拡張する際、pymaf-xで適応的統合戦略を提案し、肘関節回旋を調整し、部分特異的推定の性能を維持しながら自然な手首ポーズを生成する。 提案手法の有効性は,PyMAFとPyMAF-Xがメッシュ画像アライメントを効果的に改善し,新たな最先端結果が得られる,体のみおよび全体メッシュリカバリのためのベンチマークデータセットで検証されている。 コードとビデオ結果のプロジェクトページはhttps://www.liuyebin.com/pymaf-x.comにある。

関連論文リスト

• Feature Attenuation of Defective Representation Can Resolve Incomplete Masking on Anomaly Detection [1.0358639819750703]
  教師なし異常検出(UAD)研究では、計算効率が高くスケーラブルなソリューションを開発する必要がある。 再建・塗り替えのアプローチを再考し、強みと弱みを分析して改善する。 異常再構成の特徴情報を減衰させる2つの層のみを用いるFADeR(Feature Attenuation of Defective Representation)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:44:53Z)
• PO-MSCKF: An Efficient Visual-Inertial Odometry by Reconstructing the Multi-State Constrained Kalman Filter with the Pose-only Theory [0.0]
  視覚慣性オドメトリー(VIO)は、ペイロード制約ロボットにとって不可欠である。 そこで本研究では,MSCKF VIOを多視点構造記述(Pose-Only (PO) multi-view geometry description)を用いて再構成する。 新しいフィルタは特徴位置情報を一切必要とせず、計算コストと線形化誤差を除去する。
  論文  参考訳（メタデータ） (2024-07-02T02:18:35Z)
• Delving Deep into Pixel Alignment Feature for Accurate Multi-view Human Mesh Recovery [37.57922952189394]
  多視点画像から高精度かつ効率的なヒューマンメッシュリカバリを実現するために,Pixel-aligned Feedback Fusion (PaFF) を提案する。 PaFFは、機能の抽出と融合を交互に実行する反復回帰フレームワークである。 本手法の有効性をHuman3.6Mデータセットで総合的アブレーション実験により検証した。
  論文  参考訳（メタデータ） (2023-01-15T05:31:52Z)
• Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
  本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。 これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。 Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-04T16:35:58Z)
• Poseur: Direct Human Pose Regression with Transformers [119.79232258661995]
  単一画像からの2次元人間のポーズ推定に対する直接回帰に基づくアプローチを提案する。 私たちのフレームワークはエンドツーエンドの差別化が可能で、キーポイント間の依存関係を自然に活用することを学びます。 我々のアプローチは、最も優れたヒートマップベースのポーズ推定手法と比較して好意的に機能する最初の回帰ベースのアプローチである。
  論文  参考訳（メタデータ） (2022-01-19T04:31:57Z)
• A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose [8.816462200869445]
  GTRSは2次元の人間のポーズから人間のメッシュを再構築する。 我々は、Human3.6Mと3DPWデータセットの広範囲な評価により、GTRSの効率性と一般化を実証する。
  論文  参考訳（メタデータ） (2021-11-24T18:48:03Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)
• 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop [128.07841893637337]
  回帰に基づく手法は最近、単眼画像からヒトのメッシュを再構成する有望な結果を示した。 パラメータの小さな偏差は、推定メッシュと画像のエビデンスの間に顕著な不一致を引き起こす可能性がある。 本稿では,特徴ピラミッドを活用し,予測パラメータを補正するために,ピラミッドメッシュアライメントフィードバック(pymaf)ループを提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:07:49Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。