論文の概要: Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection
- arxiv url: http://arxiv.org/abs/2407.16788v1
- Date: Tue, 23 Jul 2024 18:41:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 15:44:18.279718
- Title: Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection
- Title（参考訳）: 閉塞型3次元動作解析による異常行動検出
- Authors: Su Li, Wang Liang, Jianye Wang, Ziheng Zhang, Lei Zhang,
- Abstract要約: 我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。
動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。
本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
- 参考スコア（独自算出の注目度）: 10.782354892545651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating abnormal posture based on 3D pose is vital in human pose analysis, yet it presents challenges, especially when reconstructing 3D human poses from monocular datasets with occlusions. Accurate reconstructions enable the restoration of 3D movements, which assist in the extraction of semantic details necessary for analyzing abnormal behaviors. However, most existing methods depend on predefined key points as a basis for estimating the coordinates of occluded joints, where variations in data quality have adversely affected the performance of these models. In this paper, we present OAD2D, which discriminates against motion abnormalities based on reconstructing 3D coordinates of mesh vertices and human joints from monocular videos. The OAD2D employs optical flow to capture motion prior information in video streams, enriching the information on occluded human movements and ensuring temporal-spatial alignment of poses. Moreover, we reformulate the abnormal posture estimation by coupling it with Motion to Text (M2T) model in which, the VQVAE is employed to quantize motion features. This approach maps motion tokens to text tokens, allowing for a semantically interpretable analysis of motion, and enhancing the generalization of abnormal posture detection boosted by Language model. Our approach demonstrates the robustness of abnormal behavior detection against severe and self-occlusions, as it reconstructs human motion trajectories in global coordinates to effectively mitigate occlusion issues. Our method, validated using the Human3.6M, 3DPW, and NTU RGB+D datasets, achieves a high $F_1-$Score of 0.94 on the NTU RGB+D dataset for medical condition detection. And we will release all of our code and data.
- Abstract（参考訳）: 3Dポーズに基づく異常姿勢の推定は、人間のポーズ分析において不可欠であるが、特にオクルージョンを持つ単分子データセットから3Dポーズを再構築する場合に課題が生じる。
正確な再構築により、3D運動の復元が可能となり、異常な行動を分析するのに必要な意味的な詳細を抽出するのに役立つ。
しかし、既存のほとんどの手法は、データ品質の変化がこれらのモデルの性能に悪影響を及ぼしている、閉塞した関節の座標を推定するための基礎として、予め定義されたキーポイントに依存している。
本稿では,メッシュ頂点と人間の関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。
OAD2Dは、ビデオストリーム内の動きの先行情報を捉えるために光学フローを使用し、閉鎖された人間の動きに関する情報を豊かにし、ポーズの時間的空間的アライメントを確保する。
さらに,動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで,異常姿勢推定を再構成する。
動作トークンをテキストトークンにマッピングすることで、意味論的に解釈可能な動作解析を可能にし、言語モデルによる異常な姿勢検出の一般化を促進する。
本研究は,グローバル座標における人間の運動軌跡を再構築し,咬合の問題を効果的に軽減するため,重度・自己閉塞に対する異常な行動検出の堅牢性を示すものである。
我々は,Human3.6M,3DPW,NTU RGB+Dデータセットを用いて,NTU RGB+Dデータセットに対して高いF_1-$Scoreの0.94を達成した。
そして、私たちはすべてのコードとデータをリリースします。
関連論文リスト
- Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs [15.017274891943162]
モノクロビデオからの時間的3Dポーズ推定は、人間中心のコンピュータビジョンにおいて難しい課題である。
情報ソースを補完するために慣性センサが導入された。
物理的に合理的な3Dポーズを生成するために、異種センサデータを統合することは依然として困難である。
論文 参考訳（メタデータ） (2024-04-27T09:02:42Z) - LInKs "Lifting Independent Keypoints" -- Partial Pose Lifting for
Occlusion Handling with Improved Accuracy in 2D-3D Human Pose Estimation [4.648549457266638]
2Dキネマティックスケルトンから3D人間のポーズを復元する新しい教師なし学習法であるLInKsを提案する。
提案手法は,まず3次元領域に隠された2次元のポーズを持ち上げるという,ユニークな2段階のプロセスに従う。
このリフト・テン・フィルのアプローチは、2次元空間でのみポーズを完了したモデルよりもはるかに正確な結果をもたらす。
論文 参考訳（メタデータ） (2023-09-13T18:28:04Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - Auxiliary Tasks Benefit 3D Skeleton-based Human Motion Prediction [106.06256351200068]
本稿では,補助的なタスクを伴うモデル学習フレームワークを提案する。
補助作業では、部分体関節の座標はマスキングまたはノイズ付加によって損なわれる。
本稿では,不完全かつ破損した動作データを処理できる新しい補助適応変換器を提案する。
論文 参考訳（メタデータ） (2023-08-17T12:26:11Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳（メタデータ） (2023-03-24T04:22:41Z) - A Dual-Masked Auto-Encoder for Robust Motion Capture with
Spatial-Temporal Skeletal Token Completion [13.88656793940129]
本稿では, 3次元関節を再構成し, 個々の関節を識別するための適応的, アイデンティティを意識した三角測量モジュールを提案する。
次に,D-MAE(Dual-Masked Auto-Encoder)を提案する。
重大なデータ損失シナリオを扱う上で提案するモデルの能力を実証するために,高精度で挑戦的なモーションキャプチャデータセットに貢献する。
論文 参考訳（メタデータ） (2022-07-15T10:00:43Z) - Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion
Prior [7.157324258813676]
私たちは、トレーニングとテストの両方に使用できる最初の3Dクローズドモーションデータセット(OcMotion)を構築します。
次に、空間時間層は、関節レベルの相関を学習するために設計される。
実験結果から,提案手法は,映像から高精度で一貫性のある人間の動きを生成できることが示唆された。
論文 参考訳（メタデータ） (2022-07-12T08:15:11Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳（メタデータ） (2022-04-02T03:48:03Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows [24.0966076588569]
本稿では,不明瞭な逆2D-to-3D問題を解くために,決定論的3D-to-2Dマッピングを利用する正規化フローベース手法を提案する。
我々は、Human3.6MとMPI-INF-3DHPの2つのベンチマークデータセットに対するアプローチを評価し、ほとんどの指標において同等の手法を上回りました。
論文 参考訳（メタデータ） (2021-07-29T07:33:14Z) - Anatomy-aware 3D Human Pose Estimation with Bone-based Pose
Decomposition [92.99291528676021]
3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。
私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。
我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
論文 参考訳（メタデータ） (2020-02-24T15:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。