論文の概要: EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity

• arxiv url: http://arxiv.org/abs/2502.18373v1
• Date: Tue, 25 Feb 2025 17:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:35.890133
• Title: EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity
• Title（参考訳）: エゴセントリックなマルチビューシミュレータEgoSimとボディウーンカメラの動作・動作時のリアルデータセット
• Authors: Dominik Hollidt, Paul Streli, Jiaxi Jiang, Yasaman Haghighi, Changlin Qian, Xintong Liu, Christian Holz,
• Abstract要約: エゴシム(EgoSim)は、身体の複数の視点から現実的なエゴセントリックなレンダリングを生成する、ボディウーンカメラの新しいシミュレータである。 EgoSimの重要な特徴は、実際のモーションキャプチャーデータを使ってモーションアーティファクトをレンダリングすることだ。 Xsensのモーションキャプチャースーツから6台のGoProカメラと3Dボディのポーズレファレンスを使って、13人の参加者から5時間の実際のモーションデータを収集しました。
• 参考スコア（独自算出の注目度）: 23.361792553311055
• License:
• Abstract: Research on egocentric tasks in computer vision has mostly focused on head-mounted cameras, such as fisheye cameras or embedded cameras inside immersive headsets. We argue that the increasing miniaturization of optical sensors will lead to the prolific integration of cameras into many more body-worn devices at various locations. This will bring fresh perspectives to established tasks in computer vision and benefit key areas such as human motion tracking, body pose estimation, or action recognition -- particularly for the lower body, which is typically occluded. In this paper, we introduce EgoSim, a novel simulator of body-worn cameras that generates realistic egocentric renderings from multiple perspectives across a wearer's body. A key feature of EgoSim is its use of real motion capture data to render motion artifacts, which are especially noticeable with arm- or leg-worn cameras. In addition, we introduce MultiEgoView, a dataset of egocentric footage from six body-worn cameras and ground-truth full-body 3D poses during several activities: 119 hours of data are derived from AMASS motion sequences in four high-fidelity virtual environments, which we augment with 5 hours of real-world motion data from 13 participants using six GoPro cameras and 3D body pose references from an Xsens motion capture suit. We demonstrate EgoSim's effectiveness by training an end-to-end video-only 3D pose estimation network. Analyzing its domain gap, we show that our dataset and simulator substantially aid training for inference on real-world data. EgoSim code & MultiEgoView dataset: https://siplab.org/projects/EgoSim
• Abstract（参考訳）: コンピュータビジョンにおける自我中心のタスクの研究は、主に魚眼カメラや没入型ヘッドセット内の組み込みカメラのようなヘッドマウントカメラに焦点を当てている。 光センサーの小型化が進むことで、様々な場所で多くのボディウーンデバイスにカメラが組み込まれるようになると我々は主張する。 これにより、コンピュータビジョンの確立したタスクに新たな視点をもたらし、人間の動作追跡、身体ポーズ推定、行動認識といった重要な領域に恩恵をもたらす。 本稿では,身体の複数の視点から現実的なエゴセントリックなレンダリングを生成する,ボディウーンカメラの新しいシミュレータであるEgoSimを紹介する。 EgoSimの重要な特徴は、実際のモーションキャプチャーデータを使ってモーションアーティファクトをレンダリングすることだ。 119時間のデータは、4つの高忠実な仮想環境におけるAMASSモーションシーケンスから導き出され、6台のGoProカメラとXsensモーションキャプチャスーツからの3Dボディポーズを使用して、13人の参加者から5時間の実世界モーションデータを増大させます。 エンドツーエンドの3Dポーズ推定ネットワークをトレーニングすることで,EgoSimの有効性を実証する。 ドメインギャップを解析した結果、我々のデータセットとシミュレータは、実世界のデータに対する推論のトレーニングに有効であることがわかった。 EgoSimコードとMultiEgoViewデータセット:https://siplab.org/projects/EgoSim

関連論文リスト

• Ego3DT: Tracking Every 3D Object in Ego-centric Videos [20.96550148331019]
  本稿では,エゴ中心映像からの物体の3次元再構成と追跡のための新しいゼロショット手法を提案する。 Ego3DTは,エゴ環境内のオブジェクトの検出とセグメンテーション情報を最初に識別し,抽出する新しいフレームワークである。 また,エゴ中心ビデオにおける物体の3次元追跡軌道を安定的に作成するための動的階層化機構を革新した。
  論文  参考訳（メタデータ） (2024-10-11T05:02:31Z)
• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
  我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。 カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。 体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
  論文  参考訳（メタデータ） (2024-03-11T16:15:51Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
  EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。 本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。 コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
  論文  参考訳（メタデータ） (2023-05-25T21:37:36Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
  UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。 これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。 本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-02T17:59:54Z)
• EgoBody: Human Body Shape, Motion and Social Interactions from Head-Mounted Devices [76.50816193153098]
  EgoBodyは複雑な3Dシーンにおけるソーシャルインタラクションのための新しい大規模データセットである。 私たちはMicrosoft HoloLens2ヘッドセットを使って、RGB、奥行き、視線、頭と手のトラッキングなど、リッチなエゴセントリックなデータストリームを記録しています。 正確な3Dグラウンドトルースを得るため、マルチKinectリグでヘッドセットを校正し、多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させる。
  論文  参考訳（メタデータ） (2021-12-14T18:41:28Z)
• Egocentric Pose Estimation from Human Vision Span [7.786789357900368]
  自我中心の視点(自我)からカメラ着用者の身体ポーズを推定することは、拡張現実と仮想現実において重要なタスクです。 既存のアプローチでは、狭い視野の前面カメラが着用者をほとんど捉えていないか、最大視認性のために押出式ヘッドマウントトップダウンカメラを使うかのどちらかだ。 本研究では,カメラスラムの動的特徴と身体形状画像の両方を利用した新しい深層学習システムを提案する。
  論文  参考訳（メタデータ） (2021-04-12T02:38:22Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。