論文の概要: Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision

• arxiv url: http://arxiv.org/abs/2201.07929v1
• Date: Thu, 20 Jan 2022 00:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 02:04:33.364830
• Title: Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision
• Title（参考訳）: 外的弱い監督による野生の自己中心性3次元ポーズの推定
• Authors: Jian Wang and Lingjie Liu and Weipeng Xu and Kripasindhu Sarkar and Diogo Luvizon and Christian Theobalt
• Abstract要約: 本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 72.36132924512299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Egocentric 3D human pose estimation with a single fisheye camera has drawn a significant amount of attention recently. However, existing methods struggle with pose estimation from in-the-wild images, because they can only be trained on synthetic data due to the unavailability of large-scale in-the-wild egocentric datasets. Furthermore, these methods easily fail when the body parts are occluded by or interacting with the surrounding scene. To address the shortage of in-the-wild data, we collect a large-scale in-the-wild egocentric dataset called Egocentric Poses in the Wild (EgoPW). This dataset is captured by a head-mounted fisheye camera and an auxiliary external camera, which provides an additional observation of the human body from a third-person perspective during training. We present a new egocentric pose estimation method, which can be trained on the new dataset with weak external supervision. Specifically, we first generate pseudo labels for the EgoPW dataset with a spatio-temporal optimization method by incorporating the external-view supervision. The pseudo labels are then used to train an egocentric pose estimation network. To facilitate the network training, we propose a novel learning strategy to supervise the egocentric features with the high-quality features extracted by a pretrained external-view pose estimation model. The experiments show that our method predicts accurate 3D poses from a single in-the-wild egocentric image and outperforms the state-of-the-art methods both quantitatively and qualitatively.
• Abstract（参考訳）: 単一魚眼カメラによる人間中心の3Dポーズ推定は、最近かなりの注目を集めている。 しかし,既存の手法では,大規模な自己中心型データセットが利用できないため,合成データでしか訓練できないため,画像中のポーズ推定に苦慮している。 さらに、周囲のシーンによって身体が閉塞したり、相互作用したりすると、これらの手法は容易に失敗する。 EgoPW(Egocentric Poses in the Wild, EgoPW)と呼ばれる, 広帯域のエゴセントリックな大規模なデータセットを収集する。 このデータセットは、頭部搭載の魚眼カメラと補助外部カメラによってキャプチャされ、トレーニング中の第三者視点から人体のさらなる観察を提供する。 本稿では,外部の監視が弱いデータセット上で学習可能な,新たな自己中心的ポーズ推定法を提案する。 具体的には,まず,外部視点監視を取り入れた時空間最適化手法を用いて,EgoPWデータセットの擬似ラベルを生成する。 擬似ラベルは、エゴセントリックなポーズ推定ネットワークを訓練するために使用される。 ネットワークトレーニングを容易にするために,前訓練された外部視点ポーズ推定モデルによって抽出された高品質特徴を用いて,エゴセントリック特徴を監督する新しい学習戦略を提案する。 実験により,本手法は1つの自我中心画像から正確な3dポーズを予測し,定量的および定性的に最先端の手法を上回った。

関連論文リスト

• Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views [9.476008200056082]
  Ego3DPoseは、高度に高精度な両眼エゴ中心型3Dポーズ再構築システムである。 両眼熱マップと独立に手足のポーズを推定する経路を持つ2経路ネットワークアーキテクチャを提案する。 三角法を用いた新しい視点認識表現を提案し,手足の3次元方向を推定する。
  論文  参考訳（メタデータ） (2023-09-21T10:34:35Z)
• Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation [72.50214227616728]
  ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。 我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。 我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
  論文  参考訳（メタデータ） (2023-09-20T22:22:21Z)
• EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
  EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。 本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。 コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
  論文  参考訳（メタデータ） (2023-05-25T21:37:36Z)
• Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
  頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。 既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。 本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T21:35:39Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Enhancing Egocentric 3D Pose Estimation with Third Person Views [37.9683439632693]
  本研究では,1台のウェアラブルカメラから撮影した映像から計算した人物の3次元身振り推定を強化する新しい手法を提案する。 First2Third-Poseは、最初の視点と第三視点の両方から捉えた人間の活動を描いた2000近いビデオからなる、ペア化された新しい同期データセットである。 実験により,データセットを用いて学習した多視点埋め込み空間は,任意の単視点自我中心ビデオから識別的特徴を抽出するのに有用であることが示された。
  論文  参考訳（メタデータ） (2022-01-06T11:42:01Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。