論文の概要: Mutual Information-Based Temporal Difference Learning for Human Pose
Estimation in Video
- arxiv url: http://arxiv.org/abs/2303.08475v2
- Date: Mon, 8 May 2023 13:43:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 20:54:29.086197
- Title: Mutual Information-Based Temporal Difference Learning for Human Pose
Estimation in Video
- Title(参考訳): ビデオにおける人文推定のための相互情報に基づく時間差分学習
- Authors: Runyang Feng, Yixing Gao, Xueqing Ma, Tze Ho Elden Tse, Hyung Jin
Chang
- Abstract要約: 本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。
具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。
以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
- 参考スコア(独自算出の注目度): 16.32910684198013
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Temporal modeling is crucial for multi-frame human pose estimation. Most
existing methods directly employ optical flow or deformable convolution to
predict full-spectrum motion fields, which might incur numerous irrelevant
cues, such as a nearby person or background. Without further efforts to
excavate meaningful motion priors, their results are suboptimal, especially in
complicated spatiotemporal interactions. On the other hand, the temporal
difference has the ability to encode representative motion information which
can potentially be valuable for pose estimation but has not been fully
exploited. In this paper, we present a novel multi-frame human pose estimation
framework, which employs temporal differences across frames to model dynamic
contexts and engages mutual information objectively to facilitate useful motion
information disentanglement. To be specific, we design a multi-stage Temporal
Difference Encoder that performs incremental cascaded learning conditioned on
multi-stage feature difference sequences to derive informative motion
representation. We further propose a Representation Disentanglement module from
the mutual information perspective, which can grasp discriminative
task-relevant motion signals by explicitly defining useful and noisy
constituents of the raw motion features and minimizing their mutual
information. These place us to rank No.1 in the Crowd Pose Estimation in
Complex Events Challenge on benchmark dataset HiEve, and achieve
state-of-the-art performance on three benchmarks PoseTrack2017, PoseTrack2018,
and PoseTrack21.
- Abstract(参考訳): 多フレーム人間のポーズ推定には時間モデリングが不可欠である。
既存のほとんどの手法では、光学的流れや変形可能な畳み込みを用いてフルスペクトル運動場を予測し、近くの人や背景など多くの無関係な手がかりを生じる可能性がある。
特に複雑な時空間相互作用において、意味のある動きの前兆を発掘するためのさらなる努力がなければ、その結果は最適以下である。
一方,時間差は,ポーズ推定に有用であるが十分に活用されていない代表的動作情報を符号化する能力を有する。
本稿では,フレーム間の時間的差異を利用して動的文脈をモデル化し,相互情報を客観的に係合し,有用な動き情報の絡み合いを容易にする,新しい多フレーム人格推定フレームワークを提案する。
具体的には,多段階特徴差分列に基づくインクリメンタルなカスケード学習を行う多段階時間差分エンコーダを設計し,情報的動作表現を導出する。
さらに,実動特徴の有益・無音成分を明示的に定義し,それらの相互情報を最小化することにより,識別的タスク関連動作信号を把握できる相互情報の観点から表現不等角化モジュールを提案する。
これにより、ベンチマークデータセットHiEve上のCrowd Pose Estimation in Complex Events Challengeの1位にランクインし、3つのベンチマークであるPoseTrack2017、PoseTrack2018、PoseTrack21で最先端のパフォーマンスを達成することができます。
関連論文リスト
- Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。
我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。
実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
論文 参考訳(メタデータ) (2024-06-05T21:02:10Z) - Generative Hierarchical Temporal Transformer for Hand Action Recognition
and Motion Prediction [70.86769090545076]
本稿では,手の動き認識と3次元手の動き予測を同時に行う新しいフレームワークを提案する。
フレームワークは複数のデータセットにまたがってトレーニングされ、ポーズとアクションブロックは個別にトレーニングされ、ポーズアクションアノテーションを完全に活用する。
論文 参考訳(メタデータ) (2023-11-29T05:28:39Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-02T12:04:28Z) - DiffPose: SpatioTemporal Diffusion Model for Video-Based Human Pose
Estimation [16.32910684198013]
本稿では、条件付きヒートマップ生成問題として、ビデオに基づく人間のポーズ推定を定式化する新しい拡散アーキテクチャDiffPoseを提案する。
ポーズ推定タスクにおけるDiffPoseの特徴として,(i)複数のポーズ推定を組み合わせて予測精度を向上させる能力,(ii)モデルを再訓練することなく特徴改善のための反復的なステップ数を調整する能力,の2点を挙げる。
論文 参考訳(メタデータ) (2023-07-31T14:00:23Z) - Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。
次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。
本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
論文 参考訳(メタデータ) (2022-01-07T08:30:01Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-01-03T02:44:18Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-30T10:45:22Z) - Exploring Versatile Prior for Human Motion via Motion Frequency Guidance [32.50770614788775]
我々は、人間の動きの固有確率分布をモデル化する多目的運動を事前に学習する枠組みを学習する。
効率的な事前表現学習のために,冗長な環境情報を除去するグローバル指向正規化を提案する。
そこで我々は,環境情報を学習可能な方法で入力動作データから切り離すための認知学習手法を採用した。
論文 参考訳(メタデータ) (2021-11-25T13:24:44Z) - Improving Robustness and Accuracy via Relative Information Encoding in
3D Human Pose Estimation [59.94032196768748]
位置および時間的拡張表現を出力する相対情報符号化法を提案する。
提案手法は2つの公開データセット上で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-07-29T14:12:19Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。