論文の概要: OfCaM: Global Human Mesh Recovery via Optimization-free Camera Motion Scale Calibration
- arxiv url: http://arxiv.org/abs/2407.00574v1
- Date: Sun, 30 Jun 2024 03:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:36:46.464025
- Title: OfCaM: Global Human Mesh Recovery via Optimization-free Camera Motion Scale Calibration
- Title（参考訳）: OfCaM:最適化不要カメラモーションスケールキャリブレーションによるグローバルヒューマンメッシュのリカバリ
- Authors: Fengyuan Yang, Kerui Gu, Ha Linh Nguyen, Angela Yao,
- Abstract要約: 本稿では,人間のメッシュリカバリ(HMR)モデルからの事前知識を利用して,未知のスケールファクタを直接校正するフレームワークを提案する。
提案手法は,グローバルなヒューマンメッシュ推定タスクの新たな標準を設定し,従来のSOTAに比べて,グローバルなヒューマンメッシュの動作誤差を60%削減する。
- 参考スコア（独自算出の注目度）: 32.69343215997592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate camera motion estimation is critical to estimate human motion in the global space. A standard and widely used method for estimating camera motion is Simultaneous Localization and Mapping (SLAM). However, SLAM only provides a trajectory up to an unknown scale factor. Different from previous attempts that optimize the scale factor, this paper presents Optimization-free Camera Motion Scale Calibration (OfCaM), a novel framework that utilizes prior knowledge from human mesh recovery (HMR) models to directly calibrate the unknown scale factor. Specifically, OfCaM leverages the absolute depth of human-background contact joints from HMR predictions as a calibration reference, enabling the precise recovery of SLAM camera trajectory scale in global space. With this correctly scaled camera motion and HMR's local motion predictions, we achieve more accurate global human motion estimation. To compensate for scenes where we detect SLAM failure, we adopt a local-to-global motion mapping to fuse with previously derived motion to enhance robustness. Simple yet powerful, our method sets a new standard for global human mesh estimation tasks, reducing global human motion error by 60% over the prior SOTA while also demanding orders of magnitude less inference time compared with optimization-based methods.
- Abstract（参考訳）: 正確なカメラの動き推定は、地球空間における人間の動きを推定するために重要である。
カメラモーションを推定するための標準的かつ広く使われている方法は、同時局所化とマッピング(SLAM)である。
しかし、SLAMは未知のスケールファクタまでの軌道のみを提供する。
スケールファクターを最適化する従来の試みとは違って,人間のメッシュリカバリ(HMR)モデルからの事前知識を利用して未知のスケールファクターを直接校正する,OfCaM(Optimization-free Camera Motion Scale Calibration)を提案する。
具体的には、OFCaMはHMR予測からの人体と背側の接触継手の絶対深度を校正基準として利用し、世界空間におけるSLAMカメラ軌道スケールの正確な回復を可能にする。
この正確なスケールのカメラモーションとHMRの局所的なモーション予測により、より正確なグローバルな人間のモーション推定が可能となる。
SLAMの故障を検知する場面を補うため,従来の動きと融合して強靭性を高めるため,局所-グローバルな動きマッピングを採用する。
提案手法は,グローバルなヒューマンメッシュ推定タスクの新しい標準を設定し,従来のSOTAに比べてグローバルなヒューマンメッシュの動作誤差を60%削減すると同時に,最適化に基づく手法に比べて桁違いに少ない推論時間を求める。
関連論文リスト
- Aligning Human Motion Generation with Human Perceptions [51.831338643012444]
本研究では,大規模人間の知覚評価データセットであるMotionPerceptと,人間の動作批判モデルであるMotionCriticを導入することにより,ギャップを埋めるデータ駆動型アプローチを提案する。
我々の批評家モデルは、運動品質を評価するためのより正確な指標を提供しており、容易に運動生成パイプラインに統合することができる。
論文 参考訳（メタデータ） (2024-07-02T14:01:59Z) - Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。
本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。
本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-04-19T19:44:24Z) - WHAC: World-grounded Humans and Cameras [37.877565981937586]
我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。
WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。
我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
論文 参考訳（メタデータ） (2024-03-19T17:58:02Z) - SISMIK for brain MRI: Deep-learning-based motion estimation and model-based motion correction in k-space [0.0]
本研究では,脳の2次元スピンエコースキャンにおける動き推定と補正の振り返り手法を提案する。
この手法は、深いニューラルネットワークのパワーを利用してk空間の運動パラメータを推定する。
モデルに基づくアプローチを用いて、劣化した画像を復元し、「幻覚」を避ける。
論文 参考訳（メタデータ） (2023-12-20T17:38:56Z) - WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。
SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。
複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
論文 参考訳（メタデータ） (2023-12-12T18:57:46Z) - PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。
これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。
本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T19:04:14Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳（メタデータ） (2023-02-24T18:59:15Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳（メタデータ） (2021-12-02T18:59:54Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-04-27T20:01:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。