論文の概要: Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views

• arxiv url: http://arxiv.org/abs/2309.11962v1
• Date: Thu, 21 Sep 2023 10:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 15:51:30.428015
• Title: Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views
• Title（参考訳）: Ego3DPose:両眼エゴ中心視から3Dキュウリを捉える
• Authors: Taeho Kang, Kyungjin Lee, Jinrui Zhang, Youngki Lee
• Abstract要約: Ego3DPoseは、高度に高精度な両眼エゴ中心型3Dポーズ再構築システムである。 両眼熱マップと独立に手足のポーズを推定する経路を持つ2経路ネットワークアーキテクチャを提案する。 三角法を用いた新しい視点認識表現を提案し,手足の3次元方向を推定する。
• 参考スコア（独自算出の注目度）: 9.476008200056082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Ego3DPose, a highly accurate binocular egocentric 3D pose reconstruction system. The binocular egocentric setup offers practicality and usefulness in various applications, however, it remains largely under-explored. It has been suffering from low pose estimation accuracy due to viewing distortion, severe self-occlusion, and limited field-of-view of the joints in egocentric 2D images. Here, we notice that two important 3D cues, stereo correspondences, and perspective, contained in the egocentric binocular input are neglected. Current methods heavily rely on 2D image features, implicitly learning 3D information, which introduces biases towards commonly observed motions and leads to low overall accuracy. We observe that they not only fail in challenging occlusion cases but also in estimating visible joint positions. To address these challenges, we propose two novel approaches. First, we design a two-path network architecture with a path that estimates pose per limb independently with its binocular heatmaps. Without full-body information provided, it alleviates bias toward trained full-body distribution. Second, we leverage the egocentric view of body limbs, which exhibits strong perspective variance (e.g., a significantly large-size hand when it is close to the camera). We propose a new perspective-aware representation using trigonometry, enabling the network to estimate the 3D orientation of limbs. Finally, we develop an end-to-end pose reconstruction network that synergizes both techniques. Our comprehensive evaluations demonstrate that Ego3DPose outperforms state-of-the-art models by a pose estimation error (i.e., MPJPE) reduction of 23.1% in the UnrealEgo dataset. Our qualitative results highlight the superiority of our approach across a range of scenarios and challenges.
• Abstract（参考訳）: Ego3DPoseは高度に高精度な両眼エゴ中心性3Dポーズ再構築システムである。 双眼の自我中心の装置は、様々な用途で実用性と有用性を提供するが、ほとんど探索されていない。 エゴセントリック2d画像における関節の観察歪み, 重度の自己閉塞, 視野制限などにより, 姿勢推定精度の低下に苦しめられている。 ここでは,エゴセントリック双眼入力に含まれる2つの重要な3次元手がかり,ステレオ対応,視点が無視されていることに気付く。 現在の手法は2D画像の特徴に大きく依存しており、3D情報を暗黙的に学習し、一般的に観察される動きに対するバイアスを導入し、全体的な精度を低くする。 また, 閉塞症例の難易度だけでなく, 目に見える関節位置の推定にも失敗すると考えられた。 これらの課題に対処するために,我々は2つの新しいアプローチを提案する。 まず,両眼のヒートマップと独立してポーズを推定する経路を持つ2経路ネットワークアーキテクチャを設計する。 全身情報が提供されないと、トレーニングされた全身分布に対するバイアスが軽減される。 第二に、身体の四肢のエゴセントリックな視野を利用して、強い視点のばらつき(例えば、カメラに近づくとかなり大きな手)を示す。 本稿では,三角法を用いて,手足の3次元方向をネットワークで推定する新しい視点認識表現を提案する。 最後に,両手法を相乗化するエンドツーエンドのポーズ再構築ネットワークを開発した。 総合評価の結果,Ego3DPoseは,UnrealEgoデータセットにおいて,ポーズ推定誤差(MPJPE)を23.1%削減することで,最先端モデルよりも優れていた。 質的な結果は、さまざまなシナリオや課題にまたがるアプローチの優位性を強調します。

関連論文リスト

• 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
  我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。 本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。 私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
  論文  参考訳（メタデータ） (2023-12-30T21:21:54Z)
• RSB-Pose: Robust Short-Baseline Binocular 3D Human Pose Estimation with Occlusion Handling [19.747618899243555]
  我々は、ポータビリティと幾何学的測定特性の両方を提供する短基線双眼設定に照準を合わせました。 両眼の基準線が短くなるにつれて, 第一に, 2次元誤差に対する3次元再構成の堅牢性は低下する。 本稿では,2次元キーポイントの表示一貫性を改善し,3次元ロバスト性を高めるためのステレオコキーポイント推定モジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-24T01:15:57Z)
• DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model [25.223801390996435]
  本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。 我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。 我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-06T07:22:20Z)
• Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
  過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。 具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。 我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-09T22:33:27Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision [72.36132924512299]
  本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-01-20T00:45:13Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。