論文の概要: EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations

• arxiv url: http://arxiv.org/abs/2610.16256v1
• Date: Mon, 12 Oct 2026 06:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:54:59.455396
• Title: EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations
• Title（参考訳）: EgoWholeView:体と手の動きをカメラで捉えた身体のデモ
• Abstract要約: EgoWholeViewは、6つの同期広角RGBカメラとロール特殊化パイプラインを組み合わせたウェアラブルキャプチャシステムである。 外向きのビューは世界フレーム内のリグをローカライズする一方、重複する下向きのペアはSMPL-X本体とMANOハンドパラメータを独立に予測する。 私たちの6つのカメラ記録では、パイプラインは、調整せずにベンチマークに適合したゲートを使用して、共有世界フレームで体と手の状態を生成する。
• 参考スコア（独自算出の注目度）: 11.85371812945646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Head-mounted body and bimanual motion capture supports self-avatars, teleoperation, and embodied demonstrations. However, a single egocentric camera is vulnerable to a limited field of view, scale ambiguity, and hand-object occlusion. We present EgoWholeView, a wearable capture system of six synchronized wide-angle RGB cameras with a role-specialized pipeline. The outward views localize the rig in a world frame, while an overlapping downward pair independently predicts SMPL-X body and MANO hand parameters. Both predictors are adapted to egocentric fisheye data. To combine the two, reliability cues measured from the predictions themselves weight the fusion of body and hand joint rotations, while shape is aggregated across views and frames. The pair's baseline fixes metric scale, and triangulation recovers root translation. Relative to monocular prediction, fusion reduces PA-MPJPE by 3.7% for the body and 11.2% for the hands, and temporal refinement lowers angular-acceleration magnitude by 32.2% and 31.0%, respectively. On our six-camera recording, the pipeline produces body and hand states in a shared world frame using benchmark-fitted gates without retuning, and temporal refinement lowers hand acceleration magnitude by 41.08%. Using only RGB cameras and no third-person view, EgoWholeView offers a low-cost, portable route to egocentric interaction data.
• Abstract（参考訳）: ヘッドマウントボディとバイマニュアルモーションキャプチャーは、セルフアバター、遠隔操作、具体化デモをサポートする。 しかし、一つの自我中心のカメラは、視野の制限、スケールのあいまいさ、手動物体の閉塞に対して脆弱である。 EgoWholeViewは、6つの同期広角RGBカメラとロール特殊化パイプラインを組み合わせたウェアラブルキャプチャシステムである。 外向きのビューは世界フレーム内のリグをローカライズする一方、重複する下向きのペアはSMPL-X本体とMANOハンドパラメータを独立に予測する。 どちらの予測器も、エゴ中心の魚眼データに適応している。 この2つを組み合わせるために、予測自体から測定された信頼性の手がかりは、視界とフレームにまたがって形状が集約される一方で、体と手関節の回転の融合を重み付けする。 このペアの基準線はメートル法スケールを固定し、三角法は根翻訳を回復する。 単分子予測とは対照的に、融合はPA-MPJPEを3.7%、手は11.2%減少させ、時間的改善は角加速度を32.2%、また31.0%減少させる。 筆者らの6カメラ記録では、ベンチマークに適合したゲートを調整せずに共有ワールドフレームでボディとハンドの状態を生成し、時間的改善によりハンドアクセラレーションの程度は41.08%低下した。 EgoWholeViewは、RGBカメラのみを使用し、サードパーティ製ビューを使用せずに、エゴセントリックなインタラクションデータへの低コストでポータブルなルートを提供する。

関連論文リスト

• MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision [12.312144883974566]
  我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。 Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。 これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
  論文  参考訳（メタデータ） (2026-09-04T10:05:11Z)
• Everybody Tracking Every Body [54.76361724681694]
  本研究では,集中的な協調を伴う自我中心的な視点から対話する複数の人物の3次元身体ポーズ推定の問題に対処する。 この動画をVIO SLAMで処理することで、宇宙空間におけるそれぞれの自撮りカメラの高品質な追跡が可能になる。 本研究では,頭部の動きに基づくポーズ推定と遠心性ポーズ観測を融合した拡散型アプローチを提案する。
  論文  参考訳（メタデータ） (2026-08-30T17:42:15Z)
• DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
  Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。 しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。 オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
  論文  参考訳（メタデータ） (2026-08-20T17:46:24Z)
• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera [40.28396219356337]
  EgoForceは、頑丈で絶対的な3Dハンドポーズを復元する、単眼の3Dハンドコンストラクションフレームワークである。 魚眼、視界、歪んだ広視野のカメラモデルを単一の統一ネットワークで運用する。 EgoForceは最先端の3D精度を実現し、カメラ空間のMPJPEを最大28%削減する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:56Z)
• Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot [22.848563931757962]
  単一のRGB画像から多人数で3Dメッシュを回収するための強力なシグルショットモデルであるMulti-HMRを提案する。 SMPL-Xパラメトリックモデルを用いて、手や表情を含む全身を予測する。 トレーニングデータに組み込むことで,特に手に対する予測がさらに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。