Fugu-MT 論文翻訳(概要): Temporal-Aware Refinement for Video-based Human Pose and Shape Recovery

論文の概要: Temporal-Aware Refinement for Video-based Human Pose and Shape Recovery

arxiv url: http://arxiv.org/abs/2311.09543v1
Date: Thu, 16 Nov 2023 03:35:17 GMT
ステータス: 処理完了
システム内更新日: 2023-11-17 16:36:55.481974
Title: Temporal-Aware Refinement for Video-based Human Pose and Shape Recovery
Title（参考訳）: ビデオ型ヒューマン・ポースと形状回復のための時間認識リファインメント
Authors: Ming Chen, Yan Zhou, Weihua Jian, Pengfei Wan, Zhongyuan Wang
Abstract要約: 本研究では,時間認識のグローバルな特徴と局所的な特徴を探索し,正確なポーズと形状回復を実現するための時間認識精細ネットワーク(TAR)を提案する。我々のTARは,3DPW,MPI-INF-3DHP,Human3.6Mといった,従来の最先端手法よりも正確な結果が得られる。
参考スコア（独自算出の注目度）: 20.566505924677013
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Though significant progress in human pose and shape recovery from monocular RGB images has been made in recent years, obtaining 3D human motion with high accuracy and temporal consistency from videos remains challenging. Existing video-based methods tend to reconstruct human motion from global image features, which lack detailed representation capability and limit the reconstruction accuracy. In this paper, we propose a Temporal-Aware Refining Network (TAR), to synchronously explore temporal-aware global and local image features for accurate pose and shape recovery. First, a global transformer encoder is introduced to obtain temporal global features from static feature sequences. Second, a bidirectional ConvGRU network takes the sequence of high-resolution feature maps as input, and outputs temporal local feature maps that maintain high resolution and capture the local motion of the human body. Finally, a recurrent refinement module iteratively updates estimated SMPL parameters by leveraging both global and local temporal information to achieve accurate and smooth results. Extensive experiments demonstrate that our TAR obtains more accurate results than previous state-of-the-art methods on popular benchmarks, i.e., 3DPW, MPI-INF-3DHP, and Human3.6M.
Abstract（参考訳）: 近年,ヒトのポーズと単眼rgb画像からの形状回復の著しい進歩がみられたが,映像から高精度かつ時間的一貫性のある3次元動作を得ることは課題である。既存の映像ベース手法は、詳細な表現能力の欠如と再構成精度の制限があるグローバル画像特徴から人間の動きを再構築する傾向がある。本稿では,時間認識のグローバル画像とローカル画像の特徴を同期的に探索し,正確なポーズと形状回復を行うための時間認識精製ネットワーク(TAR)を提案する。まず、静的特徴列から時間的大域的特徴を得るためにグローバルトランスフォーマエンコーダを導入する。第2に、双方向のconvgruネットワークは、高分解能特徴マップのシーケンスを入力として入力し、高分解能を保ち、人体の局所運動をキャプチャする時間的局所特徴マップを出力する。最後に,グローバル時空間情報と局所時空間情報の両方を利用して,推定smplパラメータを反復的に更新し,正確かつ円滑な結果を得る。広範な実験により,3dpw,mpi-inf-3dhp,human3.6mといった一般的なベンチマークにおいて,従来の最先端手法よりも精度の高い結果が得られることが示された。

関連論文リスト

Disambiguating Monocular Reconstruction of 3D Clothed Human with Spatial-Temporal Transformer [22.940662039794603]
そこで我々は,3次元布地復元のための空間-時間変換器ネットワークを提案する。空間変換器を用いて、正規地図予測のためのグローバル情報を抽出する。時間的特徴の組み入れにより、暗黙のネットワークにおける入力特徴の精度が向上する。
論文参考訳（メタデータ） (2024-10-21T02:40:27Z)
WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
論文参考訳（メタデータ） (2024-09-18T18:46:51Z)
Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
論文参考訳（メタデータ） (2024-07-03T10:42:09Z)
Enhanced Spatio-Temporal Context for Temporally Consistent Robust 3D Human Motion Recovery from Monocular Videos [5.258814754543826]
本稿では,モノクロ映像からの時間的一貫した動き推定手法を提案する。汎用的なResNetのような機能を使う代わりに、本手法ではボディ認識機能表現と独立したフレーム単位のポーズを使用する。提案手法は, 高速化誤差を著しく低減し, 既存の最先端手法よりも優れる。
論文参考訳（メタデータ） (2023-11-20T10:53:59Z)
SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文参考訳（メタデータ） (2023-08-16T09:50:35Z)
Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
論文参考訳（メタデータ） (2023-03-26T14:57:49Z)
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文参考訳（メタデータ） (2022-12-22T18:54:34Z)
Deep Two-Stream Video Inference for Human Body Pose and Shape Estimation [18.14237514372724]
RGBビデオから3次元のポーズとメッシュを生成する新しいフレームワークを提案する。 SMPLパラメータを予測するために,トランスフォーマーに基づく2ストリーム時間ネットワークを訓練する。提案アルゴリズムは,Human3.6と3DPWのデータセットで広く評価されている。
論文参考訳（メタデータ） (2021-10-22T10:01:13Z)
Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation [59.94032196768748]
位置および時間的拡張表現を出力する相対情報符号化法を提案する。提案手法は2つの公開データセット上で最先端の手法より優れている。
論文参考訳（メタデータ） (2021-07-29T14:12:19Z)
THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
論文参考訳（メタデータ） (2021-06-17T09:09:24Z)
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video [35.42021156572568]
本研究では,単眼映像から着衣者の時間的整合性3次元再構成を学習する新しい手法を提案する。提案手法は,モノクロ映像からの3次元再構成とテクスチャ予測の時間的一貫性と精度を向上させる。
論文参考訳（メタデータ） (2021-04-19T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。