論文の概要: RHINO: Reconstructing Human Interactions with Novel Objects from Monocular Videos

• arxiv url: http://arxiv.org/abs/2605.17014v1
• Date: Sat, 16 May 2026 14:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.490386
• Title: RHINO: Reconstructing Human Interactions with Novel Objects from Monocular Videos
• Title（参考訳）: RHINO:モノクロビデオから新しい物体と人間のインタラクションを再構築する
• Authors: Lixin Xue, Chengwei Zheng, Georgios Paschalidis, Chen Guo, Manuel Kaufmann, Juan Zarate, Dimitrios Tzionas,
• Abstract要約: 人々、オブジェクト、そしてそれらのインタラクションを3Dで再構築することは、インテリジェントシステムの長年の目標である。 これまでの作業のほとんどは、人間や物体を別々に扱い、それらの相互作用を無視したり、既知の3D形状やカメラを仮定したりしていた。 モノクラーRGBビデオから、人間の3D、新しい(見えない)操作対象、そして、共通の世界フレームの静的なシーンを復元するフレームワークであるRHINOを開発した。
• 参考スコア（独自算出の注目度）: 22.349788052973878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing people, objects, and their interactions in 3D is a long-standing goal for intelligent systems. Often the input is RGB video from a moving camera, making the task ill-posed; depth is ambiguous, humans and objects occlude each other, and camera and object motion entangle to create apparent motion. Most prior work addresses humans or objects in isolation, ignoring their interplay, or assumes known 3D shapes or cameras, which is impractical for real-world applications. We develop RHINO (Reconstructing Human Interactions with Novel Objects), a three-step framework that recovers in 3D a human, novel (unseen) manipulated object, and static scene in a common world frame from a monocular RGB video. First, we leverage 3D-aware foundation models to obtain cues that stabilize Structure-from-Motion (SfM) even for low-texture regions; this yields a coarse shape and apparent motion of a manipulated object from foreground pixels, and a coarse scene shape and camera motion from background pixels. Second, we estimate a human in the camera frame via an off-the-shelf method, and subtract the camera motion from apparent motion to extract the object motion; this registers the human, object, and coarse scene shapes into a common world frame. Third, we refine shapes using a compositional neural field with per-component signed-distance fields. The latter further enables differentiable contact priors that attract surfaces while penalizing interpenetration, improving the physical plausibility of the final reconstruction. For evaluation, we capture a new dataset of handheld monocular videos synchronized with a volumetric 4D capture stage, providing ground-truth shape and camera motion. RHINO outperforms state-of-the-art baselines on novel-view synthesis and 4D reconstruction. Ablations show that each stage contributes substantially. Code and data are available at https://lxxue.github.io/RHINO.
• Abstract（参考訳）: 人、オブジェクト、そしてそれらのインタラクションを3Dで再構築することは、インテリジェントシステムの長年の目標である。 多くの場合、入力は移動中のカメラからのRGBビデオで、タスクが不適切になる。深さはあいまいで、人間と物体はお互いを遮蔽し、カメラと物体の動きが絡み合っている。 これまでの作業のほとんどは、人間や物体を別々に処理し、それらの相互作用を無視したり、既知の3D形状やカメラを仮定する。 RHINO(Reconstructing Human Interactions with Novel Objects)は、人間の3次元を再現する3段階のフレームワークである。 まず,低テクスチャ領域でもSfM(Structure-from-Motion)を安定させるための3次元基礎モデルを用いて,前景画素からの操作対象の粗い形状と見かけの運動,背景画素からの粗いシーン形状とカメラモーションを得る。 第2に、カメラフレーム内の人間をオフザシェルフ法で推定し、カメラの動きを見かけの動きから減らして物体の動きを抽出し、人間、物体、粗いシーンの形状を共通の世界フレームに登録する。 第3に、成分間符号距離場を持つ合成ニューラルネットワークを用いて形状を洗練する。 後者は、相互接続をペナルティ化しながら表面を引き付ける異なる接触先行を可能とし、最終的な再構築の物理的妥当性を向上させる。 評価のために、ボリューム4Dキャプチャステージと同期したハンドヘルドモノクラービデオのデータセットを新たに取得し、地上構造とカメラモーションを提供する。 RHINOは、新しいビュー合成と4D再構成の最先端のベースラインを上回ります。 アブレーションは、各ステージが実質的に寄与していることを示している。 コードとデータはhttps://lxxue.github.io/RHINOで公開されている。

関連論文リスト

• Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos [26.750787853601413]
  HOI再建は、人間と物体の追跡に止まるのではなく、動きをコヒーレントな相互作用にする関係を回復すべきである。 我々は,4D HOIアニメーションを室内モノクロビデオから再構成するためのフレームワークである$textbfHA-HOI$を紹介した。 我々の研究は、一般的なモノクラーHOIビデオを、ヒューマノイドオブジェクトの動作のためのスケーラブルなデモに変換するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2026-05-14T06:56:57Z)
• DreamScene4D: Dynamic Multi-Object Scene Generation from Monocular Videos [21.93514516437402]
  本稿では,新しいビュー合成によるモノクロ映像から複数の物体の3次元動的シーンを生成するための最初のアプローチであるDreamScene4Dを紹介する。 私たちの重要な洞察は、ビデオシーンを背景とオブジェクトトラックに分解する"分解分解"アプローチです。 DAVIS, Kubric, 自撮りビデオについて, 定量的比較とユーザ嗜好調査を行った。
  論文  参考訳（メタデータ） (2024-05-03T17:55:34Z)
• Visibility Aware Human-Object Interaction Tracking from Single RGB Camera [40.817960406002506]
  本稿では,1台のRGBカメラからフレーム間の3次元人・物・接触・相対変換を追跡する新しい手法を提案する。 我々は、SMPLをビデオシーケンスに予め適合させて得られたフレームごとのSMPLモデル推定に基づいて、人間と物体の脳野再構成を行う。 可視フレームからの人間と物体の動きは、隠蔽された物体を推測するための貴重な情報を提供する。
  論文  参考訳（メタデータ） (2023-03-29T06:23:44Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes [133.3300573151597]
  MoCapDeformは、モノラルな3Dモーションキャプチャのための新しいフレームワークだ。 これは、3Dシーンの非剛体変形を明示的にモデル化した最初のものである。 複数のデータセット上で競合する手法よりも精度が高い。
  論文  参考訳（メタデータ） (2022-08-17T17:59:54Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。