論文の概要: SoloPose: One-Shot Kinematic 3D Human Pose Estimation with Video Data Augmentation

• arxiv url: http://arxiv.org/abs/2312.10195v1
• Date: Fri, 15 Dec 2023 20:45:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 18:00:17.335429
• Title: SoloPose: One-Shot Kinematic 3D Human Pose Estimation with Video Data Augmentation
• Title（参考訳）: SoloPose:ビデオデータ拡張によるワンショットキネマティックな3D人物位置推定
• Authors: David C. Jeong, Hongji Liu, Saunder Salazar, Jessie Jiang, Christopher A. Kitts
• Abstract要約: SoloPoseは、ビデオのキネマティックな3Dポーズ推定のための、ワンショットで多対多の時間変換モデルである。 HeatPoseはガウス混合モデル分布に基づく3次元熱マップであり、キーポイントだけでなくキーポイントを標的にしている。 3D AugMotion Toolkitは、既存の3D人間のポーズデータセットを拡張するための方法論である。
• 参考スコア（独自算出の注目度）: 0.4218593777811082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While recent two-stage many-to-one deep learning models have demonstrated great success in 3D human pose estimation, such models are inefficient ways to detect 3D key points in a sequential video relative to one-shot and many-to-many models. Another key drawback of two-stage and many-to-one models is that errors in the first stage will be passed onto the second stage. In this paper, we introduce SoloPose, a novel one-shot, many-to-many spatio-temporal transformer model for kinematic 3D human pose estimation of video. SoloPose is further fortified by HeatPose, a 3D heatmap based on Gaussian Mixture Model distributions that factors target key points as well as kinematically adjacent key points. Finally, we address data diversity constraints with the 3D AugMotion Toolkit, a methodology to augment existing 3D human pose datasets, specifically by projecting four top public 3D human pose datasets (Humans3.6M, MADS, AIST Dance++, MPI INF 3DHP) into a novel dataset (Humans7.1M) with a universal coordinate system. Extensive experiments are conducted on Human3.6M as well as the augmented Humans7.1M dataset, and SoloPose demonstrates superior results relative to the state-of-the-art approaches.
• Abstract（参考訳）: 最近の2段階多対1のディープラーニングモデルは、3次元人間のポーズ推定で大きな成功を収めているが、このようなモデルは、単発および多対多のモデルと比較してシーケンシャルビデオ中の3dキーポイントを検出するための非効率な方法である。 2段モデルと多段モデルのもう一つの欠点は、第1段モデルのエラーが第2段に渡されることである。 本稿では,ビデオのキネマティックな3次元ポーズ推定のための新しいワンショット多対多時変圧器モデルであるSoloPoseを紹介する。 ソロポスはさらに、キーポイントをターゲットとするガウス混合モデル分布に基づく3次元ヒートマップであるheatpose(英語版)によって強化されている。 最後に、3D AugMotion Toolkitを用いてデータ多様性の制約に対処する。これは既存の3D人間のポーズデータセットを増大させる方法論であり、特に4つのトップパブリックな3D人間のポーズデータセット(Humans3.6M, MADS, AIST Dance++, MPI INF 3DHP)を、ユニバーサル座標系を備えた新しいデータセット(Humans7.1M)に投影することで実現される。 human3.6mと拡張型human7.1mデータセットに関する広範な実験が行われ、soloposeは最先端のアプローチと比較して優れた結果を示している。

関連論文リスト

• UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
  UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。 これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。 本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-02T17:59:54Z)
• AdaptPose: Cross-Dataset Adaptation for 3D Human Pose Estimation by Learnable Motion Generation [24.009674750548303]
  トレーニング済みの3Dポーズ推定器を新しいデータセットでテストすると、大きなパフォーマンス低下が発生する。 本稿では、ソースデータセットから合成された3次元人間の動きを生成するエンドツーエンドフレームワークであるAdaptPoseを提案する。 提案手法は, 部分的な3Dアノテーションを用いた半教師あり学習法を16%, クロスデータセット評価において14%, 従来の半教師あり学習法よりも16%優れていた。
  論文  参考訳（メタデータ） (2021-12-22T00:27:52Z)
• Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
  提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。 最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
  論文  参考訳（メタデータ） (2021-10-05T20:04:21Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation [35.791868530073955]
  PandaNetは、新しいシングルショット、アンカーベース、マルチパーソナライズされた3Dポーズ推定手法である。 提案モデルは境界ボックス検出を行い,検出者毎に2次元および3次元ポーズ回帰を1回のフォワードパスに設定する。 ネットワークが各バウンディングボックスの完全な3Dポーズを予測するため、関節を再グループ化するための後処理は不要である。
  論文  参考訳（メタデータ） (2021-01-07T10:32:17Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• AnimePose: Multi-person 3D pose estimation and animation [9.323689681059504]
  動作中の人間の3Dアニメーションは、人体全体に複数のモーショントラッカーを配置して、すべての手足の動きを追跡するため、非常に難しい。 これは時間がかかり、運動センサー付きエキソスケルトンボディスーツの着用が不快になる可能性がある。 深層学習を用いた2次元映像から複数の人物の3次元アニメーションを生成する方法を提案する。
  論文  参考訳（メタデータ） (2020-02-06T11:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。