論文の概要: TROPHIES: Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos

• arxiv url: http://arxiv.org/abs/2606.02350v1
• Date: Mon, 01 Jun 2026 15:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.306001
• Title: TROPHIES: Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos
• Title（参考訳）: TROPHIES:多視点ビデオによる場所・人間・カメラの時間的再構築
• Authors: Jinpeng Liu, Yukang Xu, Yutong Li, Xingyu Liu,
• Abstract要約: TROPHIESは、動的な人間、静的シーン、カメラのポーズを1つのグローバル座標フレームで共同で推定することを目的としている。 グローバルアライメントと最適化モジュールは、スケール整合性、コンタクト先、およびクロスビューの時間的コヒーレンスを強制することによって、両方のブランチを結合する。 EgoHuman と EgoExo4D の実験では、TROPHIES はグローバルな忠実さとヒューマンシーンの一貫性の両方において、既存のパラダイムを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 13.556917488868661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing humans and their surrounding environments in a globally consistent 4D space is essential for comprehensive perception. However, prior works typically assume single-view inputs or decouple humans, scenes, and cameras, making them unable to recover coherent geometry, stable motion, and physically aligned trajectories. These limitations motivate us to introduce a new task: unified human-scene-camera reconstruction from multi-view videos, which aims to jointly estimate dynamic humans, static scenes, and camera poses in one global coordinate frame. We propose TROPHIES--Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos-a unified framework tailored for this task. TROPHIES features a Human Branch that models humans through temporal and spatial reasoning, and a Scene Branch that reconstructs static geometry with human-aware attention. A global alignment and optimization module couples both branches by enforcing scale consistency, contact priors, and cross-view temporal coherence. Experiments on EgoHuman and EgoExo4D demonstrate that TROPHIES achieves globally aligned, physically plausible 4D reconstructions and consistently outperforms existing paradigms in both global fidelity and human-scene consistency.
• Abstract（参考訳）: グローバルに一貫した4次元空間で人間とその周囲の環境を再構築することは、包括的知覚に不可欠である。 しかし、以前の研究は通常、人間、シーン、カメラを単一ビューで入力するか、切り離すことで、コヒーレントな幾何学、安定した動き、物理的に整列した軌道を回復することができない。 これらの制限は、動的人間、静的シーン、カメラのポーズを1つのグローバル座標フレームで共同で推定することを目的として、マルチビュービデオから人間シーンカメラを統一する、という新しいタスクの導入を動機付けます。 本稿では,このタスクに適した統合フレームワークTROPHIESを提案する。 TROPHIESは、時間的および空間的推論を通じて人間をモデル化するヒューマンブランチと、人間の注意を払って静的な幾何学を再構築するシーンブランチを特徴としている。 グローバルアライメントと最適化モジュールは、スケール整合性、コンタクト先、およびクロスビューの時間的コヒーレンスを強制することによって、両方のブランチを結合する。 EgoHumanとEgoExo4Dの実験は、TROPHIESがグローバルに整列し、物理的に妥当な4D再構成を実現し、グローバルな忠実さとヒューマンシーンの整合性の両方において既存のパラダイムを一貫して上回っていることを示した。

関連論文リスト

• UniCon3R: Contact-aware 3D Human-Scene Reconstruction from Monocular Video [82.5562736830041]
  モノクロビデオからのオンライン人間シーン4D再構成のための統合フィードフォワードフレームワークUniCon3Rを紹介する。 人間のポーズやシーン形状から3次元接触を推定することにより,インタラクションをモデル化する。 これにより、UniCon3Rは高忠実なシーン形状と空間的に整列した3D人間を共同で再現することができる。
  論文  参考訳（メタデータ） (2026-04-21T19:06:50Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
  MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。 現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
  論文  参考訳（メタデータ） (2026-02-17T17:09:45Z)
• WATCH: World-aware Allied Trajectory and pose reconstruction for Camera and Human [14.608329202942057]
  原文(投稿日:2019/09/10)へのリンク 世界の人間の動きを、Wildのモノキュラービデオから再現することは、VR、グラフィックス、ロボティクスのアプリケーションでますます求められている。 We present WATCH (World-Aware Allied Trajectory and pose reconstruction for Camera and Human)は、両課題に対処する統一的な枠組みである。 本研究は、カメラと人間の動作関係を共同でモデル化することの有効性を実証し、グローバルな人間の動作再構成におけるカメラ翻訳統合の長年の課題に対処するための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-04T18:29:48Z)
• Reconstructing People, Places, and Cameras [57.81696692335401]
  Humans and Structure from Motion (HSfM) は、メカニカルワールド座標系において、複数の人メッシュ、シーンポイント雲、カメラパラメータを共同で再構築する手法である。 以上の結果から,SfMパイプラインに人体データを組み込むことで,カメラのポーズ推定が改善された。
  論文  参考訳（メタデータ） (2024-12-23T18:58:34Z)
• Human4DiT: 360-degree Human Video Generation with 4D Diffusion Transformer [38.85054820740242]
  1枚の画像から高品質でコヒーレントな人間ビデオを生成するための新しい手法を提案する。 本フレームワークは,グローバル相関を捉える拡散変圧器の強度と,正確な条件注入を行うCNNの強度を組み合わせたものである。 我々は,360度リアルでコヒーレントな人間のモーションビデオを合成する手法の能力を実証した。
  論文  参考訳（メタデータ） (2024-05-27T17:53:29Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。