論文の概要: SHARE: Scene-Human Aligned Reconstruction

• arxiv url: http://arxiv.org/abs/2510.15342v1
• Date: Fri, 17 Oct 2025 06:12:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.490552
• Title: SHARE: Scene-Human Aligned Reconstruction
• Title（参考訳）: SHARE: シーン・ヒューマンアライメント・コンストラクション
• Authors: Joshua Li, Brendan Chharawala, Chang Shu, Xue Bin Peng, Pengcheng Xi,
• Abstract要約: 本研究では,シーン幾何学固有の空間的手がかりを利用して人間の動きを正確に再現する手法であるScene-Human Aligned Reconstructionを紹介する。 マスクを用いてシーンから抽出した人点マップと人間のメッシュを比較して、人間の位置を反復的に洗練する。 我々のアプローチは、周囲のシーンを再構築しながら、より正確な3D人間の配置を可能にし、キュレートされたデータセットと、その中のWebビデオの両方でのユースケースを容易にする。
• 参考スコア（独自算出の注目度）: 10.764401463569442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Animating realistic character interactions with the surrounding environment is important for autonomous agents in gaming, AR/VR, and robotics. However, current methods for human motion reconstruction struggle with accurately placing humans in 3D space. We introduce Scene-Human Aligned REconstruction (SHARE), a technique that leverages the scene geometry's inherent spatial cues to accurately ground human motion reconstruction. Each reconstruction relies solely on a monocular RGB video from a stationary camera. SHARE first estimates a human mesh and segmentation mask for every frame, alongside a scene point map at keyframes. It iteratively refines the human's positions at these keyframes by comparing the human mesh against the human point map extracted from the scene using the mask. Crucially, we also ensure that non-keyframe human meshes remain consistent by preserving their relative root joint positions to keyframe root joints during optimization. Our approach enables more accurate 3D human placement while reconstructing the surrounding scene, facilitating use cases on both curated datasets and in-the-wild web videos. Extensive experiments demonstrate that SHARE outperforms existing methods.
• Abstract（参考訳）: 周辺環境とのリアルなキャラクターインタラクションをアニメーションすることは、ゲーム、AR/VR、ロボット工学における自律エージェントにとって重要である。 しかし、現在のヒトの運動再建法は、人間を正確に3次元空間に配置するのに苦労している。 SHARE(Scene-Human Aligned Reconstruction)は,シーンジオメトリ固有の空間的手がかりを利用して人間の動きを正確に再現する手法である。 それぞれのリコンストラクションは、静止カメラからの単眼のRGBビデオにのみ依存する。 SHAREはまず、キーフレームのシーンポイントマップと並行して、各フレームのヒューマンメッシュとセグメンテーションマスクを推定する。 マスクを用いてシーンから抽出された人点マップと人間のメッシュを比較して、これらのキーフレームにおける人間の位置を反復的に洗練する。 重要なことは、最適化中にキーフレームのルート継手に対する相対的なルート継手位置を保存することで、キーフレーム以外のヒューマンメッシュが一貫していることを保証する。 我々のアプローチは、周囲のシーンを再構築しながら、より正確な3D人間の配置を可能にし、キュレートされたデータセットと、その中のWebビデオの両方でのユースケースを容易にする。 大規模な実験により、SHAREは既存の手法より優れていることが示された。

関連論文リスト

• HAMSt3R: Human-Aware Multi-view Stereo 3D Reconstruction [15.368018463074058]
  HAMSt3Rは、スパース・アンキャリブレーション画像からのヒトとシーンの3D再構成のためのMASt3Rの拡張である。 提案手法では,人間をセグメント化したり,DensePose経由での密接な通信を推定したり,人中心環境における深度を予測したりするために,追加のネットワークヘッドを組み込んだ。
  論文  参考訳（メタデータ） (2025-08-22T14:43:18Z)
• Joint Optimization for 4D Human-Scene Reconstruction in the Wild [59.322951972876716]
  モノクロビデオから野生の4次元人間シーンを再現する新しい最適化手法JOSHを提案する。 実験の結果,JOSHはグローバルな人間の動き推定と密集したシーン再構築において,より良い結果が得られることが示された。 さらに、より効率的なモデルJOSH3Rを設計し、Webビデオから直接擬似ラベルでトレーニングします。
  論文  参考訳（メタデータ） (2025-01-04T01:53:51Z)
• Visibility Aware Human-Object Interaction Tracking from Single RGB Camera [40.817960406002506]
  本稿では,1台のRGBカメラからフレーム間の3次元人・物・接触・相対変換を追跡する新しい手法を提案する。 我々は、SMPLをビデオシーケンスに予め適合させて得られたフレームごとのSMPLモデル推定に基づいて、人間と物体の脳野再構成を行う。 可視フレームからの人間と物体の動きは、隠蔽された物体を推測するための貴重な情報を提供する。
  論文  参考訳（メタデータ） (2023-03-29T06:23:44Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。