論文の概要: RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild
- arxiv url: http://arxiv.org/abs/2604.07331v1
- Date: Wed, 08 Apr 2026 17:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.664644
- Title: RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild
- Title(参考訳): RoSHI: 人間のデータ・イン・ザ・ワイルドのための多目的ロボット指向スーツ
- Authors: Wenjing Margaret Mao, Jefferson Ng, Luyang Hu, Daniel Gehrig, Antonio Loquercio,
- Abstract要約: 低コストのスパースIMUをProject Ariaメガネで融合するハイブリッドウェアラブルRoSHIを紹介する。
我々は、自我中心の知覚から、計量的大域座標フレームにおける着用者の全身3次元ポーズと身体形状を推定する。
実世界のヒューマノイド政策学習には,本システムから記録した動作データが適していることを示す。
- 参考スコア(独自算出の注目度): 13.851636246167905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling up robot learning will likely require human data containing rich and long-horizon interactions in the wild. Existing approaches for collecting such data trade off portability, robustness to occlusion, and global consistency. We introduce RoSHI, a hybrid wearable that fuses low-cost sparse IMUs with the Project Aria glasses to estimate the full 3D pose and body shape of the wearer in a metric global coordinate frame from egocentric perception. This system is motivated by the complementarity of the two sensors: IMUs provide robustness to occlusions and high-speed motions, while egocentric SLAM anchors long-horizon motion and stabilizes upper body pose. We collect a dataset of agile activities to evaluate RoSHI. On this dataset, we generally outperform other egocentric baselines and perform comparably to a state-of-the-art exocentric baseline (SAM3D). Finally, we demonstrate that the motion data recorded from our system are suitable for real-world humanoid policy learning. For videos, data and more, visit the project webpage: https://roshi-mocap.github.io/
- Abstract(参考訳): ロボット学習のスケールアップには、リッチで長期にわたる対話を含む人間のデータが必要になるだろう。
このようなデータ収集のための既存のアプローチは、ポータビリティ、オクルージョンに対する堅牢性、グローバルな一貫性をトレードオフしている。
我々は,低コストのスパルスIMUをProject Ariaメガネに融合させたハイブリッドウェアラブルであるRoSHIを導入し,自我中心の知覚から,計量的グローバル座標フレームにおける着用者の全身3Dポーズと体形を推定する。
このシステムは2つのセンサーの相補性によって動機付けられており、IMUは閉塞に対する堅牢性と高速動作を提供し、エゴセントリックSLAMは長い水平運動をアンカーし、上半身のポーズを安定させる。
RoSHIを評価するために,アジャイル活動のデータセットを収集します。
このデータセットでは、一般的に他のエゴセントリックベースラインよりも優れており、最先端のエゴセントリックベースライン(SAM3D)と互換性がある。
最後に,本システムから記録した動作データが実世界のヒューマノイド政策学習に適していることを示す。
ビデオやデータなどについては、プロジェクトのWebページを参照してください。
関連論文リスト
- JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics [15.188501869677532]
JRDB-Pose3Dは、モバイルロボットプラットフォームから、屋内および屋外のマルチヒューマン環境をキャプチャする。
JRDB-Pose3Dには、平均して1フレームあたり5~10人のポーズがあり、最大35人の人物が同時に登場するシーンもある。
論文 参考訳(メタデータ) (2026-02-03T03:46:27Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:08:44Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳(メタデータ) (2023-12-30T21:21:54Z) - I'M HOI: Inertia-aware Monocular Capture of 3D Human-Object Interactions [42.87514729260336]
イムホイ(I'm-HOI)は、人間と物体の両方の3Dの動きを、新しい環境で忠実に捉えようとするモノクラースキームである。
一般的な動き推論とカテゴリー認識の洗練を兼ね備えている。
私たちのデータセットとコードはコミュニティにリリースされます。
論文 参考訳(メタデータ) (2023-12-10T08:25:41Z) - Aria-NeRF: Multimodal Egocentric View Synthesis [17.0554791846124]
ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。
このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。
このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
論文 参考訳(メタデータ) (2023-11-11T01:56:35Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳(メタデータ) (2022-08-02T17:59:54Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs
in the Wild [51.35013619649463]
我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。
データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。
また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
論文 参考訳(メタデータ) (2021-03-24T15:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。