論文の概要: Auxiliary Tasks Benefit 3D Skeleton-based Human Motion Prediction

• arxiv url: http://arxiv.org/abs/2308.08942v1
• Date: Thu, 17 Aug 2023 12:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 16:56:29.629779
• Title: Auxiliary Tasks Benefit 3D Skeleton-based Human Motion Prediction
• Title（参考訳）: 3dスケルトンに基づく人間の運動予測に役立つ補助タスク
• Authors: Chenxin Xu, Robby T. Tan, Yuhong Tan, Siheng Chen, Xinchao Wang, Yanfeng Wang
• Abstract要約: 本稿では,補助的なタスクを伴うモデル学習フレームワークを提案する。 補助作業では、部分体関節の座標はマスキングまたはノイズ付加によって損なわれる。 本稿では,不完全かつ破損した動作データを処理できる新しい補助適応変換器を提案する。
• 参考スコア（独自算出の注目度）: 106.06256351200068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploring spatial-temporal dependencies from observed motions is one of the core challenges of human motion prediction. Previous methods mainly focus on dedicated network structures to model the spatial and temporal dependencies. This paper considers a new direction by introducing a model learning framework with auxiliary tasks. In our auxiliary tasks, partial body joints' coordinates are corrupted by either masking or adding noise and the goal is to recover corrupted coordinates depending on the rest coordinates. To work with auxiliary tasks, we propose a novel auxiliary-adapted transformer, which can handle incomplete, corrupted motion data and achieve coordinate recovery via capturing spatial-temporal dependencies. Through auxiliary tasks, the auxiliary-adapted transformer is promoted to capture more comprehensive spatial-temporal dependencies among body joints' coordinates, leading to better feature learning. Extensive experimental results have shown that our method outperforms state-of-the-art methods by remarkable margins of 7.2%, 3.7%, and 9.4% in terms of 3D mean per joint position error (MPJPE) on the Human3.6M, CMU Mocap, and 3DPW datasets, respectively. We also demonstrate that our method is more robust under data missing cases and noisy data cases. Code is available at https://github.com/MediaBrain-SJTU/AuxFormer.
• Abstract（参考訳）: 観測された動きからの空間的-時間的依存性の探索は、人間の運動予測の核となる課題の1つである。 従来の手法は主に、時間的および空間的依存関係をモデル化する専用のネットワーク構造に重点を置いている。 本稿では,補助タスクを伴うモデル学習フレームワークを導入することで,新たな方向性を考える。 補助作業では、部分体関節の座標はマスキングまたはノイズ付加によって劣化し、残りの座標に依存する劣化座標を復元することが目的である。 補助作業に取り組むために,不完全で破損した動作データを処理し,空間的-時間的依存性を捉えることで座標回復を実現する補助適応トランスを提案する。 補助作業により、補助適応トランスフォーマーは、身体の座標間のより包括的な空間的-時間的依存関係を捉えるように促進され、より優れた特徴学習に繋がる。 その結果,Human3.6M,CMU Mocap,3DPWデータセットにおける関節位置誤差(MPJPE)当たりの3D平均値の差は,それぞれ7.2%,3.7%,9.4%であった。 また,データ不足事例やノイズの多いデータケースにおいて,本手法がより堅牢であることを示す。 コードはhttps://github.com/MediaBrain-SJTU/AuxFormerで入手できる。

関連論文リスト

• Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
  我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。 動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。 本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
  論文  参考訳（メタデータ） (2024-07-23T18:41:16Z)
• Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
  我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
  論文  参考訳（メタデータ） (2024-07-03T10:42:09Z)
• SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
  マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。 提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。 次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
  論文  参考訳（メタデータ） (2024-04-19T04:51:18Z)
• Coordinate Transformer: Achieving Single-stage Multi-person Mesh Recovery from Videos [91.44553585470688]
  ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。 本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。 3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
  論文  参考訳（メタデータ） (2023-08-20T18:23:07Z)
• (Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network Based On Transformer for 3D Human Pose Estimation [1.52292571922932]
  多くの従来手法では、局所的な関節情報の理解が欠けていた。 提案手法では,グローバル・テンポラル・セルフ・トラジェクトリ・モジュールとクロス・テンポラル・セルフ・トラジェクトリ・モジュールを導入する。 その結果、Human3.6Mデータセットでは2.4%のMPJPEと4.3%のP-MPJPEが改善された。
  論文  参考訳（メタデータ） (2022-10-08T12:22:10Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation [59.94032196768748]
  位置および時間的拡張表現を出力する相対情報符号化法を提案する。 提案手法は2つの公開データセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-07-29T14:12:19Z)
• MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency [72.82534577726334]
  モノクロビデオから3次元人間の骨格の動きを直接再構成するディープニューラルネットワークであるMotioNetを紹介した。 本手法は,動作表現を完全かつ一般的に使用するキネマティックスケルトンを直接出力する最初のデータ駆動型手法である。
  論文  参考訳（メタデータ） (2020-06-22T08:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。