論文の概要: FeatER: An Efficient Network for Human Reconstruction via Feature Map-Based TransformER

• arxiv url: http://arxiv.org/abs/2205.15448v3
• Date: Thu, 23 Mar 2023 15:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 18:48:27.791611
• Title: FeatER: An Efficient Network for Human Reconstruction via Feature Map-Based TransformER
• Title（参考訳）: feater: 特徴地図に基づくトランスフォーマーによるヒト再建のための効率的なネットワーク
• Authors: Ce Zheng, Matias Mendieta, Taojiannan Yang, Guo-Jun Qi, Chen Chen
• Abstract要約: FeatERは、注意をモデリングする際に特徴マップ表現の本質的な構造を保存する新しいトランスフォーマー設計である。 特徴マップ再構成モジュールを適用し、推定された人間のポーズとメッシュの性能を向上させる。
• 参考スコア（独自算出の注目度）: 46.23824464424351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, vision transformers have shown great success in a set of human reconstruction tasks such as 2D human pose estimation (2D HPE), 3D human pose estimation (3D HPE), and human mesh reconstruction (HMR) tasks. In these tasks, feature map representations of the human structural information are often extracted first from the image by a CNN (such as HRNet), and then further processed by transformer to predict the heatmaps (encodes each joint's location into a feature map with a Gaussian distribution) for HPE or HMR. However, existing transformer architectures are not able to process these feature map inputs directly, forcing an unnatural flattening of the location-sensitive human structural information. Furthermore, much of the performance benefit in recent HPE and HMR methods has come at the cost of ever-increasing computation and memory needs. Therefore, to simultaneously address these problems, we propose FeatER, a novel transformer design that preserves the inherent structure of feature map representations when modeling attention while reducing memory and computational costs. Taking advantage of FeatER, we build an efficient network for a set of human reconstruction tasks including 2D HPE, 3D HPE, and HMR. A feature map reconstruction module is applied to improve the performance of the estimated human pose and mesh. Extensive experiments demonstrate the effectiveness of FeatER on various human pose and mesh datasets. For instance, FeatER outperforms the SOTA method MeshGraphormer by requiring 5% of Params and 16% of MACs on Human3.6M and 3DPW datasets. The project webpage is https://zczcwh.github.io/feater_page/.
• Abstract（参考訳）: 近年,人間の2次元ポーズ推定(2次元HPE),3次元ポーズ推定(3次元HPE),ヒューマンメッシュ再構成(HMR)タスクなど,人間の再建作業において大きな成功を収めている。 これらのタスクでは、人体構造情報の特徴マップ表現をまずCNN(HRNetなど)で画像から抽出し、さらに変換器で処理してHPEやHMRのヒートマップ(各関節の位置をガウス分布で特徴マップにエンコードする)を予測する。 しかし、既存のトランスフォーマーアーキテクチャでは、これらの特徴マップ入力を直接処理することはできず、位置に敏感な人間の構造情報の不自然なフラット化を強いている。 さらに、最近のHPE法とHMR法の性能上の利点は、計算量とメモリ需要が継続的に増加することにある。 そこで本研究では,メモリと計算コストを削減しつつ,注意をモデリングする際に特徴地図表現の固有構造を保存できる新しいトランスフォーマー設計手法であるfeaterを提案する。 FeatERを利用して,2次元HPE,3次元HPE,HMRを含む,人間の再建作業のための効率的なネットワークを構築する。 特徴マップ再構成モジュールを適用し、推定された人間のポーズとメッシュの性能を向上させる。 大規模な実験は、さまざまな人間のポーズとメッシュデータセットに対するFeatERの有効性を示す。 例えば、FeatERは、Human3.6Mと3DPWデータセット上でのParamsの5%とMACの16%を必要とすることで、SOTA法であるMeshGraphormerより優れている。 プロジェクトのWebページはhttps://zczcwh.github.io/feater_page/。

関連論文リスト

• Reconstructing Hands in 3D with Transformers [64.15390309553892]
  単分子入力から3次元の手を再構成する手法を提案する。 ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
  論文  参考訳（メタデータ） (2023-12-08T18:59:07Z)
• EVOPOSE: A Recursive Transformer For 3D Human Pose Estimation With Kinematic Structure Priors [72.33767389878473]
  本研究では,3次元ポーズ推定を効果的に行うために,トランスフォーマーを用いたモデルEvoPoseを提案する。 構造的優先表現(Structure Priors Representation, SPR)モジュールは、人体パターンの豊富な構造的特徴として、人間の先行を表現している。 推定結果を利用して3Dポーズ出力にRecursive Refinement(RR)モジュールを印加し、同時に人間を注入する。
  論文  参考訳（メタデータ） (2023-06-16T04:09:16Z)
• Humans in 4D: Reconstructing and Tracking Humans with Transformers [72.50856500760352]
  我々は、人間を再構築し、時間とともに追跡するアプローチを提案する。 このアプローチの中核として、人間のメッシュリカバリのためのネットワークの完全な"トランスフォーマライズ"バージョンを提案する。 このネットワークであるHMR 2.0は、芸術の状態を前進させ、過去に1枚の画像から再構成することが困難であった異常なポーズを分析する能力を示す。
  論文  参考訳（メタデータ） (2023-05-31T17:59:52Z)
• POTTER: Pooling Attention Transformer for Efficient Human Mesh Recovery [43.47698370540302]
  トランスフォーマーアーキテクチャは、モノクル画像からのヒューマンメッシュリカバリ(HMR)におけるSOTA性能を達成している。 現実世界のアプリケーションには、正確なヒューマンメッシュを再構築するための軽量で効率的なモデルが必要である。 本稿では,単一画像からのHMRタスクに対して,Pooling aTtention TransformER (POTTER) という純粋変換器アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:36:12Z)
• Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
  Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
  論文  参考訳（メタデータ） (2023-02-02T15:37:46Z)
• A Modular Multi-stage Lightweight Graph Transformer Network for Human Pose and Shape Estimation from 2D Human Pose [4.598337780022892]
  提案手法では, 再現精度を犠牲にすることなく, 計算効率を優先する, ポーズに基づくヒューマンメッシュ再構築手法を提案する。 提案手法は,グラフトランスフォーマーを用いて2次元人間のポーズにおける構造的および暗黙的な関節関係を解析する2D-to-3Dリフトモジュールと,抽出したポーズ特徴とメッシュテンプレートを組み合わせたメッシュ回帰モジュールからなり,最終的なメッシュパラメータを生成する。
  論文  参考訳（メタデータ） (2023-01-31T04:42:47Z)
• MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction [56.80384196339199]
  Mesh Pre-Training(MPT)は、人間のポーズのためのMoCapデータや単一のイメージからのメッシュ再構築などの3Dメッシュデータを活用する、新たな事前トレーニングフレームワークである。 MPTにより、トランスフォーマーモデルは、実際の画像から人間のメッシュ再構築のゼロショット機能を持つことができる。
  論文  参考訳（メタデータ） (2022-11-24T00:02:13Z)
• Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
  過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。 具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。 我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-09T22:33:27Z)
• A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose [8.816462200869445]
  GTRSは2次元の人間のポーズから人間のメッシュを再構築する。 我々は、Human3.6Mと3DPWデータセットの広範囲な評価により、GTRSの効率性と一般化を実証する。
  論文  参考訳（メタデータ） (2021-11-24T18:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。