論文の概要: Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
- arxiv url: http://arxiv.org/abs/2503.06089v1
- Date: Sat, 08 Mar 2025 06:34:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:46:19.596051
- Title: Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
- Title（参考訳）: Fish2Mesh Transformer:エゴセントリックな視覚から3Dのメッシュを復元する
- Authors: David C. Jeong, Aditya Puranik, James Vong, Vrushabh Abhijit Deogirikar, Ryan Fell, Julianna Dietrich, Maria Kyrarini, Christopher Kitts,
- Abstract要約: エゴセントリックな人体推定は、ウェアラブルカメラのファーストパーソナリティの観点から、ユーザーの身体のポーズと形状を推測することができる。
そこで,魚眼を意識したトランスフォーマーモデルであるFish2Meshを紹介した。
実験により、Fish2Meshは従来の最先端の3D HMRモデルより優れていることが示された。
- 参考スコア（独自算出の注目度）: 0.3387808070669509
- License:
- Abstract: Egocentric human body estimation allows for the inference of user body pose and shape from a wearable camera's first-person perspective. Although research has used pose estimation techniques to overcome self-occlusions and image distortions caused by head-mounted fisheye images, similar advances in 3D human mesh recovery (HMR) techniques have been limited. We introduce Fish2Mesh, a fisheye-aware transformer-based model designed for 3D egocentric human mesh recovery. We propose an egocentric position embedding block to generate an ego-specific position table for the Swin Transformer to reduce fisheye image distortion. Our model utilizes multi-task heads for SMPL parametric regression and camera translations, estimating 3D and 2D joints as auxiliary loss to support model training. To address the scarcity of egocentric camera data, we create a training dataset by employing the pre-trained 4D-Human model and third-person cameras for weak supervision. Our experiments demonstrate that Fish2Mesh outperforms previous state-of-the-art 3D HMR models.
- Abstract（参考訳）: エゴセントリックな人体推定は、ウェアラブルカメラのファーストパーソナリティの観点から、ユーザーの身体のポーズと形状を推測することができる。
頭載魚眼画像による自己閉塞や画像歪みを克服するためにポーズ推定技術が用いられているが、3次元メッシュリカバリ(HMR)技術も同様の進歩が制限されている。
そこで,魚眼を意識したトランスフォーマーモデルであるFish2Meshを紹介した。
魚眼画像の歪みを低減するために,スウィントランスのためのエゴ固有位置テーブルを生成するために,エゴ中心位置埋め込みブロックを提案する。
本モデルは,SMPLパラメトリックレグレッションとカメラ翻訳にマルチタスクヘッドを用い,モデルトレーニングを支援する補助的損失として3次元関節と2次元関節を推定する。
自己中心型カメラデータの不足に対処するために、トレーニング済みの4D-Humanモデルと3人称カメラを用いてトレーニングデータセットを作成する。
実験により、Fish2Meshは従来の最先端の3D HMRモデルより優れていることが示された。
関連論文リスト
- Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based
Motion Refinement [65.08165593201437]
本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。
この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。
そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
論文 参考訳（メタデータ） (2023-11-28T07:13:47Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳（メタデータ） (2023-03-24T04:22:41Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳（メタデータ） (2022-08-02T17:59:54Z) - Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。
本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2021-11-29T16:32:41Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳（メタデータ） (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。