論文の概要: Relation-Based Associative Joint Location for Human Pose Estimation in Videos

• arxiv url: http://arxiv.org/abs/2107.03591v3
• Date: Fri, 30 Jun 2023 09:52:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 16:21:41.319384
• Title: Relation-Based Associative Joint Location for Human Pose Estimation in Videos
• Title（参考訳）: ビデオにおける人間行動推定のための関係に基づく連想的結合位置
• Authors: Yonghao Dang and Jianqin Yin and Shaojie Zhang
• Abstract要約: 我々は,関節間の連想関係を明確かつ自動でモデル化する軽量でプラグアンドプレイな関節関係抽出器 (JRE) を設計する。 JREは2つの関節の関係を柔軟に学習し、人間のポーズの豊かな空間構成を学習する。 そして、時間的意味連続性モデリングと組み合わせて、ビデオに基づく人間のポーズ推定のための関係に基づくPose Semantics Transfer Network (RPSTN)を提案する。
• 参考スコア（独自算出の注目度）: 5.237054164442403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-based human pose estimation (VHPE) is a vital yet challenging task. While deep learning methods have made significant progress for the VHPE, most approaches to this task implicitly model the long-range interaction between joints by enlarging the receptive field of the convolution. Unlike prior methods, we design a lightweight and plug-and-play joint relation extractor (JRE) to model the associative relationship between joints explicitly and automatically. The JRE takes the pseudo heatmaps of joints as input and calculates the similarity between pseudo heatmaps. In this way, the JRE flexibly learns the relationship between any two joints, allowing it to learn the rich spatial configuration of human poses. Moreover, the JRE can infer invisible joints according to the relationship between joints, which is beneficial for the model to locate occluded joints. Then, combined with temporal semantic continuity modeling, we propose a Relation-based Pose Semantics Transfer Network (RPSTN) for video-based human pose estimation. Specifically, to capture the temporal dynamics of poses, the pose semantic information of the current frame is transferred to the next with a joint relation guided pose semantics propagator (JRPSP). The proposed model can transfer the pose semantic features from the non-occluded frame to the occluded frame, making our method robust to the occlusion. Furthermore, the proposed JRE module is also suitable for image-based human pose estimation. The proposed RPSTN achieves state-of-the-art results on the video-based Penn Action dataset, Sub-JHMDB dataset, and PoseTrack2018 dataset. Moreover, the proposed JRE improves the performance of backbones on the image-based COCO2017 dataset. Code is available at https://github.com/YHDang/pose-estimation.
• Abstract（参考訳）: ビデオベースの人間のポーズ推定(VHPE)は不可欠だが難しい課題である。 深層学習法はVHPEに大きな進歩を遂げているが、この課題に対するほとんどのアプローチは、畳み込みの受容領域を大きくすることで、関節間の長距離相互作用を暗黙的にモデル化している。 従来の方法とは異なり, 軽量かつプラグアンドプレイのジョイント関係抽出器 (jre) を設計し, ジョイント間の結合関係を明示的に自動的にモデル化する。 JREはジョイントの擬熱マップを入力として、擬熱マップ間の類似性を計算する。 このようにして、JREは2つの関節の関係を柔軟に学習し、人間のポーズの豊かな空間構成を学習することができる。 また、jre は目視関節の関係に応じて目視関節を推定することができ、モデルが目視関節を見つけるのに有用である。 そして、時間的意味連続性モデリングと組み合わせて、ビデオに基づく人間のポーズ推定のための関係に基づくPose Semantics Transfer Network (RPSTN)を提案する。 具体的には、ポーズの時間的ダイナミクスを捉えるために、現在のフレームのポーズ意味情報を結合関係案内ポーズ意味伝達器(JRPSP)で次のフレームに転送する。 提案モデルでは,非閉塞フレームから隠蔽フレームにポーズセマンティックな特徴を移すことが可能であり,この手法は隠蔽に頑健である。 さらに,JREモジュールは画像に基づく人間のポーズ推定にも適している。 提案したRPSTNは、ビデオベースのPenn Actionデータセット、Sub-JHMDBデータセット、PoseTrack2018データセットの最先端結果を達成する。 さらに、提案されたJREは、イメージベースのCOCO2017データセットのバックボーンのパフォーマンスを改善している。 コードはhttps://github.com/YHDang/pose-estimationで入手できる。

関連論文リスト

• G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
  G-HOPは手-対象相互作用の前駆体である。 人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。 この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
  論文  参考訳（メタデータ） (2024-04-18T17:59:28Z)
• Video-Based Human Pose Regression via Decoupled Space-Time Aggregation [0.5524804393257919]
  そこで我々は,Asmapなどの中間表現をバイパスし,その代わりに入力を直接共同座標にマッピングする,効率的で効果的なビデオベースヒューマンポーズ回帰手法を開発した。 本手法は, 隣り合う関節の空間的依存性と各関節の時間的依存性を効率よく, 柔軟に利用することができる。 我々のアプローチは、最先端のヒートマップベースのマルチフレームヒューマンポーズ推定手法に匹敵するか、同等である。
  論文  参考訳（メタデータ） (2024-03-29T02:26:22Z)
• Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
  グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。 暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。 また, 関節間の関係を学習するために, 隣接変調を用いた。
  論文  参考訳（メタデータ） (2023-08-29T14:00:55Z)
• Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
  相互作用モデリングの強化を目的とした結合関係変換器を提案する。 提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
  論文  参考訳（メタデータ） (2023-08-09T09:02:47Z)
• (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
  多くの従来手法では、局所的な関節情報の理解が欠けていた。 提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。 その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
  論文  参考訳（メタデータ） (2022-10-08T12:22:10Z)
• RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild [73.1276968007689]
  本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。 本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T17:59:59Z)
• Kinematics Modeling Network for Video-based Human Pose Estimation [9.506011491028891]
  ビデオから人間のポーズを推定することは、人間とコンピュータの相互作用において重要である。 関節は人間の動きの中で独立して動くのではなく協力する。 関節間の時間的相関を明示的にモデル化するためのKMM(プラグイン・アンド・プレイ・キネマティクス・モデリング・モジュール)を提案する。
  論文  参考訳（メタデータ） (2022-07-22T09:37:48Z)
• MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video [75.23812405203778]
  近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。 本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。 さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
  論文  参考訳（メタデータ） (2022-03-02T04:20:59Z)
• Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
  我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。 次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。 本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-01-07T08:30:01Z)
• Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting [66.69067601079706]
  HIPNetは、複数のポーズで訓練された暗黙のポーズネットワークである。 階層的な骨格に基づく表現を用いて、正準非正則空間上の符号付き距離関数を学習する。 種々の単目的および多目的のベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-12-02T03:25:46Z)
• Pose And Joint-Aware Action Recognition [87.4780883700755]
  本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。 私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
  論文  参考訳（メタデータ） (2020-10-16T04:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。