論文の概要: Delving Deep into Pixel Alignment Feature for Accurate Multi-view Human Mesh Recovery

• arxiv url: http://arxiv.org/abs/2301.06020v1
• Date: Sun, 15 Jan 2023 05:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:50:53.470770
• Title: Delving Deep into Pixel Alignment Feature for Accurate Multi-view Human Mesh Recovery
• Title（参考訳）: 高精度なマルチビューヒューマンメッシュリカバリのための画素アライメント機能の深層化
• Authors: Kai Jia, Hongwen Zhang, Liang An, Yebin Liu
• Abstract要約: 多視点画像から高精度かつ効率的なヒューマンメッシュリカバリを実現するために,Pixel-aligned Feedback Fusion (PaFF) を提案する。 PaFFは、機能の抽出と融合を交互に実行する反復回帰フレームワークである。 本手法の有効性をHuman3.6Mデータセットで総合的アブレーション実験により検証した。
• 参考スコア（独自算出の注目度）: 37.57922952189394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression-based methods have shown high efficiency and effectiveness for multi-view human mesh recovery. The key components of a typical regressor lie in the feature extraction of input views and the fusion of multi-view features. In this paper, we present Pixel-aligned Feedback Fusion (PaFF) for accurate yet efficient human mesh recovery from multi-view images. PaFF is an iterative regression framework that performs feature extraction and fusion alternately. At each iteration, PaFF extracts pixel-aligned feedback features from each input view according to the reprojection of the current estimation and fuses them together with respect to each vertex of the downsampled mesh. In this way, our regressor can not only perceive the misalignment status of each view from the feedback features but also correct the mesh parameters more effectively based on the feature fusion on mesh vertices. Additionally, our regressor disentangles the global orientation and translation of the body mesh from the estimation of mesh parameters such that the camera parameters of input views can be better utilized in the regression process. The efficacy of our method is validated in the Human3.6M dataset via comprehensive ablation experiments, where PaFF achieves 33.02 MPJPE and brings significant improvements over the previous best solutions by more than 29%. The project page with code and video results can be found at https://kairobo.github.io/PaFF/.
• Abstract（参考訳）: 回帰に基づく手法は、マルチビューのヒューマンメッシュリカバリに高い効率と有効性を示している。 典型的な回帰器のキーコンポーネントは、入力ビューの特徴抽出とマルチビュー機能の融合にある。 本稿では,マルチビュー画像からの高精度かつ効率的なヒューマンメッシュリカバリのために,paff(pixel-aligned feedback fusion)を提案する。 PaFFは、機能の抽出と融合を交互に実行する反復回帰フレームワークである。 各イテレーションにおいて、PaFFは、現在の推定の再投影に従って、各入力ビューから画素整列フィードバック特徴を抽出し、ダウンサンプリングメッシュの各頂点に対してそれらを融合する。 このようにして、回帰器は、フィードバック機能から各ビューのアライメント状態を認識するだけでなく、メッシュ頂点上の機能融合に基づいて、メッシュパラメータをより効果的に修正することができる。 さらに, 私たちの回帰器は, 入力ビューのカメラパラメータをよりよく活用できるように, メッシュパラメータの推定から, ボディーメッシュのグローバルな配向と翻訳を遠ざけている。 提案手法の有効性をHuman3.6Mデータセットで総合的アブレーション実験により検証し,PaFFは33.02MPJPEを達成し,従来のベストソリューションよりも29%以上改善した。 コードとビデオの結果のプロジェクトページは、https://kairobo.github.io/paff/で見ることができる。

関連論文リスト

• VisFusion: Visibility-aware Online 3D Scene Reconstruction from Videos [24.310673998221866]
  提案するVisFusionは,モノクラー映像からの3Dシーン再構成を視覚的に認識するオンライン手法である。 類似度行列からその可視性を明示的に推測することで特徴融合を改善することを目的としている。 ベンチマークによる実験結果から,本手法はより詳細なシーンで優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-21T00:47:05Z)
• PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images [60.33197938330409]
  PyMAF-Xは、モノクロ画像からパラメトリックフルボディモデルを復元するための回帰ベースのアプローチである。 PyMAFとPyMAF-Xは、メッシュイメージアライメントを効果的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-07-13T17:58:33Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
  従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。 我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。 提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-06T05:54:46Z)
• 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop [128.07841893637337]
  回帰に基づく手法は最近、単眼画像からヒトのメッシュを再構成する有望な結果を示した。 パラメータの小さな偏差は、推定メッシュと画像のエビデンスの間に顕著な不一致を引き起こす可能性がある。 本稿では,特徴ピラミッドを活用し,予測パラメータを補正するために,ピラミッドメッシュアライメントフィードバック(pymaf)ループを提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:07:49Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。