論文の概要: Kinematics Modeling Network for Video-based Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2207.10971v2
• Date: Wed, 17 Apr 2024 02:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 20:09:36.139615
• Title: Kinematics Modeling Network for Video-based Human Pose Estimation
• Title（参考訳）: ビデオに基づく人文推定のためのキネマティクスモデリングネットワーク
• Authors: Yonghao Dang, Jianqin Yin, Shaojie Zhang, Jiping Liu, Yanzhu Hu,
• Abstract要約: ビデオから人間のポーズを推定することは、人間とコンピュータの相互作用において重要である。 関節は人間の動きの中で独立して動くのではなく協力する。 関節間の時間的相関を明示的にモデル化するためのKMM(プラグイン・アンド・プレイ・キネマティクス・モデリング・モジュール)を提案する。
• 参考スコア（独自算出の注目度）: 9.506011491028891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating human poses from videos is critical in human-computer interaction. Joints cooperate rather than move independently during human movement. There are both spatial and temporal correlations between joints. Despite the positive results of previous approaches, most focus on modeling the spatial correlation between joints while only straightforwardly integrating features along the temporal dimension, ignoring the temporal correlation between joints. In this work, we propose a plug-and-play kinematics modeling module (KMM) to explicitly model temporal correlations between joints across different frames by calculating their temporal similarity. In this way, KMM can capture motion cues of the current joint relative to all joints in different time. Besides, we formulate video-based human pose estimation as a Markov Decision Process and design a novel kinematics modeling network (KIMNet) to simulate the Markov Chain, allowing KIMNet to locate joints recursively. Our approach achieves state-of-the-art results on two challenging benchmarks. In particular, KIMNet shows robustness to the occlusion. The code will be released at https://github.com/YHDang/KIMNet.
• Abstract（参考訳）: ビデオから人間のポーズを推定することは、人間とコンピュータの相互作用において重要である。 関節は人間の動きの中で独立して動くのではなく協力する。 関節には空間的相関と時間的相関がある。 従来のアプローチの肯定的な結果にもかかわらず、ほとんどの焦点は、関節間の空間的相関をモデル化することであり、関節間の時間的相関を無視しながら、時間的次元に沿った特徴を直接統合することであった。 本研究では,異なるフレーム間での関節間の時間的相関を,時間的類似性を計算することによって明示的にモデル化するKMMを提案する。 このようにして、KMMは、すべての関節に対して異なる時間で現在の関節の動きを捉えることができる。 さらに,ビデオに基づく人間のポーズ推定をマルコフ決定プロセスとして定式化し,新しいキネマティクスモデリングネットワーク(KIMNet)を設計してマルコフ連鎖をシミュレートし,KIMNetが再帰的に関節の位置を推定できるようにする。 提案手法は,2つの試行錯誤ベンチマークの最先端結果を実現する。 特に、KIMNetは閉塞に対して堅牢性を示している。 コードはhttps://github.com/YHDang/KIMNet.comで公開される。

関連論文リスト

• Video-Based Human Pose Regression via Decoupled Space-Time Aggregation [0.5524804393257919]
  そこで我々は,Asmapなどの中間表現をバイパスし,その代わりに入力を直接共同座標にマッピングする,効率的で効果的なビデオベースヒューマンポーズ回帰手法を開発した。 本手法は, 隣り合う関節の空間的依存性と各関節の時間的依存性を効率よく, 柔軟に利用することができる。 我々のアプローチは、最先端のヒートマップベースのマルチフレームヒューマンポーズ推定手法に匹敵するか、同等である。
  論文  参考訳（メタデータ） (2024-03-29T02:26:22Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Multiscale Residual Learning of Graph Convolutional Sequence Chunks for Human Motion Prediction [23.212848643552395]
  時間的および空間的依存関係の学習による人間の動作予測のための新しい手法を提案する。 提案手法は,動作予測のためのシーケンス情報を効果的にモデル化し,他の手法よりも優れ,新しい最先端の手法を設定できる。
  論文  参考訳（メタデータ） (2023-08-31T15:23:33Z)
• Shuffled Autoregression For Motion Interpolation [53.61556200049156]
  この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。 本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。 また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
  論文  参考訳（メタデータ） (2023-06-10T07:14:59Z)
• Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
  Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。 フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。 本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
  論文  参考訳（メタデータ） (2023-04-26T14:45:09Z)
• MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video [75.23812405203778]
  近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。 本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。 さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
  論文  参考訳（メタデータ） (2022-03-02T04:20:59Z)
• Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
  我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。 次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。 本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-01-07T08:30:01Z)
• Relation-Based Associative Joint Location for Human Pose Estimation in Videos [5.237054164442403]
  我々は,関節間の連想関係を明確かつ自動でモデル化する軽量でプラグアンドプレイな関節関係抽出器 (JRE) を設計する。 JREは2つの関節の関係を柔軟に学習し、人間のポーズの豊かな空間構成を学習する。 そして、時間的意味連続性モデリングと組み合わせて、ビデオに基づく人間のポーズ推定のための関係に基づくPose Semantics Transfer Network (RPSTN)を提案する。
  論文  参考訳（メタデータ） (2021-07-08T04:05:23Z)
• MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency [72.82534577726334]
  モノクロビデオから3次元人間の骨格の動きを直接再構成するディープニューラルネットワークであるMotioNetを紹介した。 本手法は,動作表現を完全かつ一般的に使用するキネマティックスケルトンを直接出力する最初のデータ駆動型手法である。
  論文  参考訳（メタデータ） (2020-06-22T08:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。