論文の概要: Recovering Physically Plausible Human-Object Interactions from Monocular Videos
- arxiv url: http://arxiv.org/abs/2606.05359v1
- Date: Wed, 03 Jun 2026 19:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.349948
- Title: Recovering Physically Plausible Human-Object Interactions from Monocular Videos
- Title(参考訳): モノクロ映像から物理的に可塑性な人間と物体の相互作用を復元する
- Authors: Dingbang Huang, Etienne Vouga, Qixing Huang, Georgios Pavlakos,
- Abstract要約: RePHO(RePHO)は、モノクロビデオから物理的に可塑性な人間と物体の相互作用(HOI)を再構築する手法である。
キネマティックな見積もりから始まり、強化学習(RL)による政策の訓練によってそれを洗練する。
キネマティックな推定は一般的にノイズが多いため、単純RLトレーニングは失敗する可能性があるため、二重自己更新機構を備えた適応サンプリング戦略を提案する。
- 参考スコア(独自算出の注目度): 45.8499411765499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose RePHO, a method to reconstruct physically plausible human-object interactions (HOI) from monocular videos. While existing kinematic-based approaches produce visually plausible motion, they often result in physically implausible artifacts such as interpenetration and object floating. To overcome these issues, we introduce a physics-guided reconstruction framework. We begin with a kinematic estimate and then refine it by training a policy with reinforcement learning (RL). This policy is optimized to reproduce the interaction in a physics simulator. Because kinematic estimates are typically noisy, naive RL training can fail. Therefore, we propose an adaptive sampling strategy with a dual self-updating mechanism that can identify the frames with the most informative and reliable kinematic reconstruction. Our process progressively improves reconstruction quality and yields physically consistent HOI sequences. We demonstrate our approach on two standard HOI benchmarks and achieve clear improvements in physical plausibility metrics over state-of-the-art methods. Project Page: https://dingbang777.github.io/RePHO/
- Abstract(参考訳): 本稿では,モノクロビデオから物理的に可塑性な人-物体相互作用(HOI)を再構成する手法であるRePHOを提案する。
既存のキネマティックベースのアプローチは視覚的に可視な動きを生じさせるが、それらはしばしば、相互接続や物体浮動のような物理的に不確実な人工物をもたらす。
これらの課題を克服するために,物理誘導型再構成フレームワークを導入する。
まずキネマティックな見積もりから始め、強化学習(RL)でポリシーを訓練することでそれを洗練します。
このポリシーは、物理シミュレータでの相互作用を再現するために最適化されている。
キネマティックな推定は一般的にノイズが多いため、単純RLトレーニングは失敗する可能性がある。
そこで本研究では,最も情報的かつ信頼性の高いキネマティック再構築を用いて,フレームを識別可能な2つの自己更新機構を備えた適応サンプリング戦略を提案する。
我々のプロセスは徐々に復元品質を向上し、物理的に一貫したHOI配列を得る。
我々は,2つの標準HOIベンチマークに対するアプローチを実証し,最先端手法に対する物理可視性指標の明確化を実現した。
Project Page: https://dingbang777.github.io/RePHO/
関連論文リスト
- ReconPhys: Reconstruct Appearance and Physical Attributes from Single Video [51.2815592637053]
ReconPhysは、単一の単眼ビデオから物理的属性推定と3次元ガウススプラッティング再構成を共同で学習するフィードフォワードフレームワークである。
提案手法では, 自己教師型戦略を用いて訓練したデュアルブランチアーキテクチャを用いて, 地上の物理ラベルの必要性を解消する。
大規模合成データセットの実験は優れた性能を示した。
論文 参考訳(メタデータ) (2026-04-09T06:51:14Z) - PhysRVG: Physics-Aware Unified Reinforcement Learning for Video Generative Models [100.65199317765608]
物理原理は現実的な視覚シミュレーションには基本的だが、トランスフォーマーベースのビデオ生成において重要な監視対象である。
本研究では,物理衝突ルールを高次元空間に直接適用した映像生成モデルのための物理認識強化学習パラダイムを提案する。
このパラダイムを、MDcycle(Mimicry-Discovery Cycle)と呼ばれる統合フレームワークに拡張することで、大幅な微調整を可能にします。
論文 参考訳(メタデータ) (2026-01-16T08:40:10Z) - CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives [65.89192712575797]
本研究では,モノクロ映像から再現可能な人物の動きとシーン形状を復元するCRISPを紹介する。
我々の手法は、人中心のビデオベンチマークにおいて、モーショントラッキングの失敗率を55.2%から6.9%に下げる。
このことは、CRISPが物理的に有意な人間の動きと対話環境を大規模に生成する能力を示している。
論文 参考訳(メタデータ) (2025-12-16T18:59:50Z) - PhysCorr: Dual-Reward DPO for Physics-Constrained Text-to-Video Generation with Automated Preference Selection [10.498184571108995]
本稿では,ビデオ生成における物理一貫性をモデリング,評価,最適化するための統合フレームワークであるPhysCorrを提案する。
具体的には、物体内安定性と物体間相互作用の両方を定量化する最初の2次元報酬モデルである物理RMを紹介する。
我々のアプローチは、モデルに依存しないスケーラブルで、幅広いビデオ拡散とトランスフォーマーベースのバックボーンへのシームレスな統合を可能にする。
論文 参考訳(メタデータ) (2025-11-06T02:40:57Z) - PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。
我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。
PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
論文 参考訳(メタデータ) (2025-10-02T21:01:11Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-05-24T18:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。