論文の概要: Egocentric Pose Estimation from Human Vision Span

• arxiv url: http://arxiv.org/abs/2104.05167v1
• Date: Mon, 12 Apr 2021 02:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:09:48.206286
• Title: Egocentric Pose Estimation from Human Vision Span
• Title（参考訳）: Egocentric Pose Estimation from Human Vision Span
• Authors: Hao Jiang, Vamsi Krishna Ithapu
• Abstract要約: 自我中心の視点(自我)からカメラ着用者の身体ポーズを推定することは、拡張現実と仮想現実において重要なタスクです。 既存のアプローチでは、狭い視野の前面カメラが着用者をほとんど捉えていないか、最大視認性のために押出式ヘッドマウントトップダウンカメラを使うかのどちらかだ。 本研究では,カメラスラムの動的特徴と身体形状画像の両方を利用した新しい深層学習システムを提案する。
• 参考スコア（独自算出の注目度）: 7.786789357900368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating camera wearer's body pose from an egocentric view (egopose) is a vital task in augmented and virtual reality. Existing approaches either use a narrow field of view front facing camera that barely captures the wearer, or an extruded head-mounted top-down camera for maximal wearer visibility. In this paper, we tackle the egopose estimation from a more natural human vision span, where camera wearer can be seen in the peripheral view and depending on the head pose the wearer may become invisible or has a limited partial view. This is a realistic visual field for user-centric wearable devices like glasses which have front facing wide angle cameras. Existing solutions are not appropriate for this setting, and so, we propose a novel deep learning system taking advantage of both the dynamic features from camera SLAM and the body shape imagery. We compute 3D head pose, 3D body pose, the figure/ground separation, all at the same time while explicitly enforcing a certain geometric consistency across pose attributes. We further show that this system can be trained robustly with lots of existing mocap data so we do not have to collect and annotate large new datasets. Lastly, our system estimates egopose in real time and on the fly while maintaining high accuracy.
• Abstract（参考訳）: カメラ装着者の身体ポーズを自我中心の視点から推定する(egopose)は、拡張現実および仮想現実において重要な課題である。 既存のアプローチでは、狭い視野の前面カメラが着用者をほとんど捉えていないか、最大視認性のために押出式ヘッドマウントトップダウンカメラを使うかのどちらかだ。 本稿では,より自然な人間の視覚範囲からエゴポスを推定し,周辺視野でカメラ装着者が見えるとともに,装着者が目立たない場合や部分的視野が限られる場合の頭部形状にもとづいて,エゴポス推定に挑戦する。 これは、前面に広角カメラを持つメガネのようなユーザー中心のウェアラブルデバイスにとって現実的な視野である。 この設定には既存のソリューションが適さないため,カメラSLAMの動的特徴と身体形状の画像の両方を活かした新しいディープラーニングシステムを提案する。 3dヘッドポーズ,3dボディポーズ,フィギュア/グラウンド分離を同時に計算し,ポーズ属性間の幾何的一貫性を明示的に強制する。 さらに,本システムは既存のmocapデータでロバストにトレーニングできるので,大規模なデータセットを収集して注釈付けする必要がなくなる。 最後に, 精度を維持しつつ, 実時間および飛行中のegoposeの推定を行った。

関連論文リスト

• Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
  頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。 既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。 本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T21:35:39Z)
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision [72.36132924512299]
  本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-01-20T00:45:13Z)
• EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
  EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。 このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。 レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-24T18:33:02Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild [31.334715988245748]
  ラベルのないマルチビューデータから1つの画像3Dポーズ推定器を学習する自己教師型アプローチを提案する。 既存のほとんどの方法とは対照的に、校正カメラは必要とせず、移動カメラから学ぶことができる。 成功の鍵は、ビューとトレーニングサンプルの情報を混ぜ合わせた、新しく偏見のない再建目標である。
  論文  参考訳（メタデータ） (2020-11-30T10:42:27Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。