論文の概要: HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

• arxiv url: http://arxiv.org/abs/2603.15612v1
• Date: Mon, 16 Mar 2026 17:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.724543
• Title: HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions
• Title（参考訳）: HSImul3R:シミュレーション可能な人間とシーンのインタラクションの物理とループ再構築
• Authors: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu,
• Abstract要約: HSImul3Rはヒトとシーンの相互作用をシミュレーション可能な3次元再構成のための統合フレームワークである。 既存の手法は知覚とシミュレーションのギャップに悩まされており、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながっている。
• 参考スコア（独自算出の注目度）: 69.43316445143408
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.
• Abstract（参考訳）: HSImul3Rは、疎視画像やモノクロビデオを含む、カジュアルキャプチャーからヒトとシーンのインタラクション(HSI)をシミュレーション可能な3次元再構成するための統合フレームワークである。 視覚的に妥当な再構築はしばしば物理的制約に違反し、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながる。 このギャップを埋めるために、物理シミュレータをアクティブなスーパーバイザとして扱い、人間のダイナミクスとシーン幾何学を共同で洗練する物理地上の双方向最適化パイプラインを導入する。 前方方向では、動きの忠実さと接触安定性の両面的な監督の下で、人間の動きを最適化するために、シーン目標強化学習(Scene-targeted Reinforcement Learning)を用いる。 逆方向では、重力安定性と相互作用成功に対するシミュレーションフィードバックを利用してシーン形状を洗練させるダイレクトシミュレーション・リワード最適化を提案する。 さらに、多様なオブジェクトと相互作用シナリオを持つ新しいベンチマークであるHSIBenchを紹介します。 大規模な実験により、HSImul3Rは最初の安定的でシミュレーション可能なHSI再構成を生産し、現実世界のヒューマノイドロボットに直接展開できることを示した。

関連論文リスト

• MotionAnymesh: Physics-Grounded Articulation for Simulation-Ready Digital Twins [25.25391483526521]
  MotionAnymeshは、非構造化の静的メッシュをシミュレーション可能なデジタルツインにシームレスに変換するフレームワークである。 提案手法は, VLM推論をSP4D物理先行値で根拠とした運動認識部分分割モジュールを特徴とする。
  論文  参考訳（メタデータ） (2026-03-13T12:30:42Z)
• MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
  MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。 現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
  論文  参考訳（メタデータ） (2026-02-17T17:09:45Z)
• AGILE: Hand-Object Interaction Reconstruction from Video via Agentic Generation [45.753757870577196]
  本稿では,対話学習のためのエージェント生成にパラダイムを転換する,堅牢なフレームワークAGILEを紹介する。 我々はAGILEがグローバルな幾何学的精度でベースラインを上回り、先行技術が頻繁に崩壊する挑戦的なシーケンスに対して、例外的な堅牢性を証明していることを示す。
  論文  参考訳（メタデータ） (2026-02-04T15:42:58Z)
• CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
  本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。 我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。 このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
  論文  参考訳（メタデータ） (2025-12-16T18:59:50Z)
• Learned Neural Physics Simulation for Articulated 3D Human Pose Reconstruction [30.51621591645056]
  本稿では,接触を伴う人間の関節運動の力学をモデル化するための新しいニューラルネットワーク手法であるLARPを提案する。 私たちのニューラルアーキテクチャは、従来の物理シミュレータで一般的に見られる機能をサポートします。 LARPの価値を実証するために、既存のビデオベース再構成フレームワークにおける古典的非微分可能シミュレータの状態のドロップイン代替として使用します。
  論文  参考訳（メタデータ） (2024-10-15T19:42:45Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。