論文の概要: LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
- arxiv url: http://arxiv.org/abs/2605.05390v1
- Date: Wed, 06 May 2026 19:23:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.392451
- Title: LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
- Title(参考訳): LAMP:メトリカル3D世界におけるマルチカメラの人物追跡を意識したローカライゼーション
- Abstract要約: エゴセントリックなマルチカメラヘッドセットから3Dの人間の動きを追跡することは、激しいエゴモーションに悩まされる。
LAMPは、観測者や目標運動を早期に切り離してこれを解決するための新しいフレームワークである。
LAMPは単分子ベンチマークで最先端の結果を得るが、対象の自我中心の設定のベースラインを著しく上回っている。
- 参考スコア(独自算出の注目度): 13.822357528424325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tracking 3D human motion from egocentric multi-camera headset is challenged by severe egomotion, partial visibility or occlusions and lack of training data. Existing methods designed for monocular video often require static or slowly-moving cameras and cannot efficiently leverage multi-view, calibrated and localized input. This makes them brittle and prone to fail on dynamic egocentric captures. We propose LAMP (Localization Aware Multi-camera People Tracking): a novel, simple framework to solve this via early disentanglement of observer and target motion. LAMP introduces a two-step process. First, we leverage the known device 6 DoF motion and calibration to convert detected 2D body keypoints from all cameras over a temporal window into a unified 3D world reference frame. Second, an end-to-end-trained spatio-temporal transformer fits 3D human motion directly to this 3D ray cloud. This "lift-then-fit" approach allows LAMP to learn and leverage a natural human motion prior in the world-space, as well as providing an elegant framework to flexibly incorporate information from multiple temporally asynchronous, partially observing and moving cameras. LAMP achieves state-of-the-art results on monocular benchmarks, while significantly outperforming baselines for our targeted egocentric setting.
- Abstract(参考訳): エゴセントリックなマルチカメラヘッドセットから3Dの人間の動きを追跡することは、激しいエゴモーション、部分的な視認性、あるいは閉塞性、トレーニングデータの欠如に悩まされている。
モノクロビデオ用に設計された既存の方法は、しばしば静的またはゆっくり動くカメラを必要とし、マルチビュー、キャリブレーション、ローカライズドインプットを効率的に利用できない。
これにより脆くなり、ダイナミックなエゴセントリックなキャプチャーで失敗する傾向がある。
本稿では,LAMP(Localization Aware Multi-camera People Tracking)を提案する。
LAMPは2段階のプロセスを導入している。
まず,全カメラから検出された2Dボディキーポイントを時間窓越しに3Dワールド参照フレームに変換するために,既知の6DFモーションとキャリブレーションを利用する。
第2に、終端から終端まで訓練された時空間変圧器は、この3D線雲に直接人間の動きを合わせる。
この「リフト・ザ・フィット」アプローチは、LAMPが世界空間に先立つ自然な人間の動きを学習し、活用することを可能にし、また、複数の時間的に非同期で部分的に観察され、動くカメラから情報を柔軟に組み込むエレガントなフレームワークを提供する。
LAMPは単分子ベンチマークで最先端の結果を得るが、対象の自我中心設定のベースラインを著しく上回っている。
関連論文リスト
- 3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation [29.389246008057473]
2Dは、新規な視点合成を前に、運動を駆動的視点に厳密に結合する。
3DiMoは、予め訓練されたビデオジェネレータでモーションエンコーダを訓練し、駆動フレームをコンパクトでビューに依存しないモーショントークンに蒸留する。
3DiMoは、フレキシブルでテキスト駆動のカメラコントロールで運転動作を忠実に再現する。
論文 参考訳(メタデータ) (2026-02-03T17:59:09Z) - SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。
これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。
このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
論文 参考訳(メタデータ) (2025-07-16T17:59:03Z) - HumanMM: Global Human Motion Recovery from Multi-shot Videos [24.273414172013933]
本稿では,複数のショット遷移を伴って,世界における長時間の人間の動きを再現する新しいフレームワークを提案する。
このような長時間の動作は、モーション生成やモーション理解といった応用に非常に有用である。
論文 参考訳(メタデータ) (2025-03-10T17:57:03Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳(メタデータ) (2024-12-17T12:43:10Z) - 3DTrajMaster: Mastering 3D Trajectory for Multi-Entity Motion in Video Generation [83.98251722144195]
制御可能なビデオ生成における従来の方法は、主に物体の動きを操作するために2D制御信号を利用する。
本稿では3次元空間におけるマルチエンタリティダイナミクスを制御する頑健なコントローラである3DTrajMasterを紹介する。
3DTrajMasterは,多心性3D動作を制御するための精度と一般化の両面において,新しい最先端技術を設定する。
論文 参考訳(メタデータ) (2024-12-10T18:55:13Z) - WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。
SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。
複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
論文 参考訳(メタデータ) (2023-12-12T18:57:46Z) - Delving into Motion-Aware Matching for Monocular 3D Object Tracking [81.68608983602581]
異なる時間軸に沿った物体の運動キューが3次元多物体追跡において重要であることが判明した。
3つの動き認識コンポーネントからなるフレームワークであるMoMA-M3Tを提案する。
我々はnuScenesとKITTIデータセットに関する広範な実験を行い、MoMA-M3Tが最先端の手法と競合する性能を発揮することを実証した。
論文 参考訳(メタデータ) (2023-08-22T17:53:58Z) - TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D
Environments [106.80978555346958]
現在の方法では、地球上の座標で動く人間を確実に推定することはできない。
TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。
トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-06-05T13:00:44Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳(メタデータ) (2023-02-24T18:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。