Fugu-MT 論文翻訳(概要): HeatER: An Efficient and Unified Network for Human Reconstruction via Heatmap-based TransformER

論文の概要: HeatER: An Efficient and Unified Network for Human Reconstruction via Heatmap-based TransformER

arxiv url: http://arxiv.org/abs/2205.15448v1
Date: Mon, 30 May 2022 22:09:57 GMT
ステータス: 処理完了
システム内更新日: 2022-06-01 13:28:29.320547
Title: HeatER: An Efficient and Unified Network for Human Reconstruction via Heatmap-based TransformER
Title（参考訳）: HeatER:Heatmap-based Transformerによる人体再建のための効率的で統一されたネットワーク
Authors: Ce Zheng, Matias Mendieta, Taojiannan Yang, Chen Chen
Abstract要約: HeatERは、注意をモデル化する際に、ヒートマップ表現の本質的な構造を保存する新しいトランスフォーマー設計である。熱マップ再構成モジュールを適用し、推定された人間のポーズとメッシュの堅牢性を改善する。 Heaterは、Human3.6Mと3DPWデータセット上でのParamsの5%とMACの16%を必要とすることで、SOTA法であるMeshGraphormerより優れている。
参考スコア（独自算出の注目度）: 13.447928371592559
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, vision transformers have shown great success in 2D human pose estimation (2D HPE), 3D human pose estimation (3D HPE), and human mesh reconstruction (HMR) tasks. In these tasks, heatmap representations of the human structural information are often extracted first from the image by a CNN, and then further processed with a transformer architecture to provide the final HPE or HMR estimation. However, existing transformer architectures are not able to process these heatmap inputs directly, forcing an unnatural flattening of the features prior to input. Furthermore, much of the performance benefit in recent HPE and HMR methods has come at the cost of ever-increasing computation and memory needs. Therefore, to simultaneously address these problems, we propose HeatER, a novel transformer design which preserves the inherent structure of heatmap representations when modeling attention while reducing the memory and computational costs. Taking advantage of HeatER, we build a unified and efficient network for 2D HPE, 3D HPE, and HMR tasks. A heatmap reconstruction module is applied to improve the robustness of the estimated human pose and mesh. Extensive experiments demonstrate the effectiveness of HeatER on various human pose and mesh datasets. For instance, HeatER outperforms the SOTA method MeshGraphormer by requiring 5% of Params and 16% of MACs on Human3.6M and 3DPW datasets. Code will be publicly available.
Abstract（参考訳）: 近年,人間の2次元ポーズ推定(2次元HPE),3次元ポーズ推定(3次元HPE),ヒューマンメッシュ再構築(HMR)タスクにおいて大きな成功を収めている。これらのタスクでは、人間の構造情報のヒートマップ表現は、まずcnnによって画像から抽出され、さらにトランスフォーマーアーキテクチャで処理され、最終的なhpeまたはhmr推定を提供する。しかし、既存のトランスフォーマーアーキテクチャはこれらのヒートマップ入力を直接処理することができず、入力の前に特徴の非自然な平坦化を強制する。さらに、最近のHPE法とHMR法の性能上の利点は、計算量とメモリ需要が継続的に増加することにある。そこで本研究では,メモリと計算コストを低減しつつ,熱マップ表現の固有構造をモデル化する際に保存する新しいトランスフォーマーであるheaterを提案する。 HeatERを利用して、2D HPE, 3D HPE, HMRタスクのための統一的で効率的なネットワークを構築する。熱マップ再構成モジュールを適用し、推定された人間のポーズとメッシュの堅牢性を改善する。広範囲な実験により、ヒーターが様々な人間のポーズやメッシュデータセットに与える影響が示されている。例えばHeatherは、Human3.6Mと3DPWデータセット上でのParamsの5%とMACの16%を必要とすることで、SOTA法であるMeshGraphormerより優れている。コードは公開されます。

関連論文リスト

Reconstructing Hands in 3D with Transformers [64.15390309553892]
単分子入力から3次元の手を再構成する手法を提案する。ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
論文参考訳（メタデータ） (2023-12-08T18:59:07Z)
BinaryHPE: 3D Human Pose and Shape Estimation via Binarization [99.83378699846767]
3次元人のポーズと形状推定(HPE)は、単一の画像から3次元の人体、顔、手を再構築することを目的としている。本研究では,人体・顔・手の3次元パラメータを効率的に推定するバイナライズ手法であるBinaryHPEを提案する。
論文参考訳（メタデータ） (2023-11-24T07:51:50Z)
EVOPOSE: A Recursive Transformer For 3D Human Pose Estimation With Kinematic Structure Priors [72.33767389878473]
本研究では,3次元ポーズ推定を効果的に行うために,トランスフォーマーを用いたモデルEvoPoseを提案する。構造的優先表現(Structure Priors Representation, SPR)モジュールは、人体パターンの豊富な構造的特徴として、人間の先行を表現している。推定結果を利用して3Dポーズ出力にRecursive Refinement(RR)モジュールを印加し、同時に人間を注入する。
論文参考訳（メタデータ） (2023-06-16T04:09:16Z)
POTTER: Pooling Attention Transformer for Efficient Human Mesh Recovery [43.47698370540302]
トランスフォーマーアーキテクチャは、モノクル画像からのヒューマンメッシュリカバリ(HMR)におけるSOTA性能を達成している。現実世界のアプリケーションには、正確なヒューマンメッシュを再構築するための軽量で効率的なモデルが必要である。本稿では,単一画像からのHMRタスクに対して,Pooling aTtention TransformER (POTTER) という純粋変換器アーキテクチャを提案する。
論文参考訳（メタデータ） (2023-03-23T15:36:12Z)
Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文参考訳（メタデータ） (2023-02-02T15:37:46Z)
A Modular Multi-stage Lightweight Graph Transformer Network for Human Pose and Shape Estimation from 2D Human Pose [4.598337780022892]
提案手法では, 再現精度を犠牲にすることなく, 計算効率を優先する, ポーズに基づくヒューマンメッシュ再構築手法を提案する。提案手法は,グラフトランスフォーマーを用いて2次元人間のポーズにおける構造的および暗黙的な関節関係を解析する2D-to-3Dリフトモジュールと,抽出したポーズ特徴とメッシュテンプレートを組み合わせたメッシュ回帰モジュールからなり,最終的なメッシュパラメータを生成する。
論文参考訳（メタデータ） (2023-01-31T04:42:47Z)
MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction [56.80384196339199]
Mesh Pre-Training(MPT)は、人間のポーズのためのMoCapデータや単一のイメージからのメッシュ再構築などの3Dメッシュデータを活用する、新たな事前トレーニングフレームワークである。 MPTにより、トランスフォーマーモデルは、実際の画像から人間のメッシュ再構築のゼロショット機能を持つことができる。
論文参考訳（メタデータ） (2022-11-24T00:02:13Z)
Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
論文参考訳（メタデータ） (2022-06-09T22:33:27Z)
A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose [8.816462200869445]
GTRSは2次元の人間のポーズから人間のメッシュを再構築する。我々は、Human3.6Mと3DPWデータセットの広範囲な評価により、GTRSの効率性と一般化を実証する。
論文参考訳（メタデータ） (2021-11-24T18:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。