論文の概要: EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents

• arxiv url: http://arxiv.org/abs/2602.23205v1
• Date: Thu, 26 Feb 2026 16:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.793062
• Title: EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents
• Title（参考訳）: EmbodMocap: 人工呼吸器の4Dヒューマンシーン再構築
• Authors: Wenjia Wang, Liang Pan, Huaijin Pi, Yuke Lou, Xuqian Ren, Yifan Wu, Zhouyingcheng Liao, Lei Yang, Rishabh Dabral, Christian Theobalt, Taku Komura,
• Abstract要約: EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
• 参考スコア（独自算出の注目度）: 85.77432303199176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human behaviors in the real world naturally encode rich, long-term contextual information that can be leveraged to train embodied agents for perception, understanding, and acting. However, existing capture systems typically rely on costly studio setups and wearable devices, limiting the large-scale collection of scene-conditioned human motion data in the wild. To address this, we propose EmbodMocap, a portable and affordable data collection pipeline using two moving iPhones. Our key idea is to jointly calibrate dual RGB-D sequences to reconstruct both humans and scenes within a unified metric world coordinate frame. The proposed method allows metric-scale and scene-consistent capture in everyday environments without static cameras or markers, bridging human motion and scene geometry seamlessly. Compared with optical capture ground truth, we demonstrate that the dual-view setting exhibits a remarkable ability to mitigate depth ambiguity, achieving superior alignment and reconstruction performance over single iphone or monocular models. Based on the collected data, we empower three embodied AI tasks: monocular human-scene-reconstruction, where we fine-tune on feedforward models that output metric-scale, world-space aligned humans and scenes; physics-based character animation, where we prove our data could be used to scale human-object interaction skills and scene-aware motion tracking; and robot motion control, where we train a humanoid robot via sim-to-real RL to replicate human motions depicted in videos. Experimental results validate the effectiveness of our pipeline and its contributions towards advancing embodied AI research.
• Abstract（参考訳）: 現実世界の人間の行動は、知覚、理解、行動のためにエンボディされたエージェントを訓練するために活用できる、リッチで長期的な文脈情報を自然にエンコードする。 しかし、既存のキャプチャシステムは通常、コストのかかるスタジオのセットアップとウェアラブルデバイスに依存しており、シーンコンディショニングされた人間のモーションデータの大規模な収集を制限している。 そこで本研究では,携帯型かつ安価なデータ収集パイプラインであるEmbodMocapを提案する。 我々のキーとなるアイデアは、2つのRGB-Dシーケンスを共同で校正し、統一された計量世界座標フレーム内で人間とシーンを再構築することです。 提案手法は,静的なカメラやマーカーを使わずに,人間の動きやシーンの形状をシームレスに再現する。 光学的キャプチャグラウンドの真実と比較すると、デュアルビュー設定は奥行きのあいまいさを軽減し、単一のiphoneやモノクラーモデルよりも優れたアライメントと再構成性能を達成できることを示す。 モノラルなヒューマン・シーン・リコンストラクション、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション、人間とオブジェクトのインタラクションスキルとシーン認識のモーショントラッキングのスケールアップに使用可能なデータ、ロボットモーションコントロール、シミュレーションからリアルなRLを使ってヒューマノイドロボットを訓練してビデオに映った人間の動きを再現するロボットモーションコントロール。 実験結果から,私たちのパイプラインの有効性と,AI研究の進歩への貢献が検証された。

関連論文リスト

• MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
  MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。 現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
  論文  参考訳（メタデータ） (2026-02-17T17:09:45Z)
• CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
  本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。 我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。 このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
  論文  参考訳（メタデータ） (2025-12-16T18:59:50Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。