論文の概要: Humans as Checkerboards: Calibrating Camera Motion Scale for World-Coordinate Human Mesh Recovery

• arxiv url: http://arxiv.org/abs/2407.00574v2
• Date: Thu, 12 Dec 2024 12:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:19.363210
• Title: Humans as Checkerboards: Calibrating Camera Motion Scale for World-Coordinate Human Mesh Recovery
• Title（参考訳）: チェッカーボードとしての人間:世界調整型ヒューマンメッシュ回復のためのカメラモーションスケールの校正
• Authors: Fengyuan Yang, Kerui Gu, Ha Linh Nguyen, Tze Ho Elden Tse, Angela Yao,
• Abstract要約: 本稿では,Human as Checkerboard (HAC) を用いた最適化フリースケールキャリブレーションフレームワークを提案する。 HACは、人間のメッシュ回復モデルによって予測される人体をキャリブレーション基準として革新的に活用する。 提案手法は,グローバルなヒューマンメッシュ推定タスクに対して,最先端の性能を新たに設定する。
• 参考スコア（独自算出の注目度）: 32.379298416414436
• License:
• Abstract: Accurate camera motion estimation is essential for recovering global human motion in world coordinates from RGB video inputs. SLAM is widely used for estimating camera trajectory and point cloud, but monocular SLAM does so only up to an unknown scale factor. Previous works estimate the scale factor through optimization, but this is unreliable and time-consuming. This paper presents an optimization-free scale calibration framework, Human as Checkerboard (HAC). HAC innovatively leverages the human body predicted by human mesh recovery model as a calibration reference. Specifically, it uses the absolute depth of human-scene contact joints as references to calibrate the corresponding relative scene depth from SLAM. HAC benefits from geometric priors encoded in human mesh recovery models to estimate the SLAM scale and achieves precise global human motion estimation. Simple yet powerful, our method sets a new state-of-the-art performance for global human mesh estimation tasks, reducing motion errors by 50% over prior local-to-global methods while using 100$\times$ less inference time than optimization-based methods. Project page: https://martayang.github.io/HAC.
• Abstract（参考訳）: RGBビデオ入力から世界座標のグローバルな人間の動きを復元するためには、正確なカメラの動き推定が不可欠である。 SLAMはカメラの軌跡と点雲を推定するのに広く用いられているが、単眼のSLAMは未知のスケールファクタのみに限られる。 これまでの作業では、最適化によってスケールファクタを見積もっていたが、信頼性が低く、時間を要する。 本稿では,Human as Checkerboard (HAC) という,最適化のないスケールキャリブレーションフレームワークを提案する。 HACは、人間のメッシュ回復モデルによって予測される人体をキャリブレーション基準として革新的に活用する。 具体的には、人間とシーンの接触継手の絶対深さを、SLAMから対応する相対的なシーン深さを校正するための基準として使用する。 HACは、人間のメッシュリカバリモデルで符号化された幾何学的事前の利点を生かし、SLAMスケールを推定し、正確なグローバルな人間の動き推定を実現する。 提案手法は,グローバルなヒューマンメッシュ推定タスクに対して,従来の局所的・グローバル的手法よりも動作誤差を50%削減し,100$\times$推論時間を最適化ベース手法より低く設定する。 プロジェクトページ: https://martayang.github.io/HAC。

関連論文リスト

• Reconstructing People, Places, and Cameras [57.81696692335401]
  Humans and Structure from Motion (HSfM) は、メカニカルワールド座標系において、複数の人メッシュ、シーンポイント雲、カメラパラメータを共同で再構築する手法である。 以上の結果から,SfMパイプラインに人体データを組み込むことで,カメラのポーズ推定が改善された。
  論文  参考訳（メタデータ） (2024-12-23T18:58:34Z)
• Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• Aligning Human Motion Generation with Human Perceptions [51.831338643012444]
  本研究では,大規模人間の知覚評価データセットであるMotionPerceptと,人間の動作批判モデルであるMotionCriticを導入することにより,ギャップを埋めるデータ駆動型アプローチを提案する。 我々の批評家モデルは、運動品質を評価するためのより正確な指標を提供しており、容易に運動生成パイプラインに統合することができる。
  論文  参考訳（メタデータ） (2024-07-02T14:01:59Z)
• WHAC: World-grounded Humans and Cameras [37.877565981937586]
  我々は,表現的パラメトリック人間モデル(SMPL-X)と対応するカメラのポーズを共同で再現することを目指している。 WHACと呼ばれる新しいフレームワークを導入し、世界規模で表現された人間のポーズと形状の推定を容易にする。 我々は、正確に注釈付けされた人間とカメラを含む新しい合成データセットWHAC-A-Moleを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:02Z)
• WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion [43.95997922499137]
  WHAM(World-grounded Humans with Accurate Motion)は、ビデオから世界座標系で3次元の人間の動きを再構成する。 SLAM法から推定されるカメラ角速度と人間の動きを用いて、身体のグローバルな軌跡を推定する。 複数のWildベンチマークで、既存の3Dモーションリカバリ手法よりも優れています。
  論文  参考訳（メタデータ） (2023-12-12T18:57:46Z)
• W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
  モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。 W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。 また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-29T09:02:07Z)
• A Simple Method to Boost Human Pose Estimation Accuracy by Correcting the Joint Regressor for the Human3.6m Dataset [21.096409769550387]
  SMPL-to-joint linear layer (joint regressor) は不正確である。 より高精度な継手回帰器を実現するために,擬似地下構造SMPLポーズを作成する手法を提案する。 我々の回帰器は、再トレーニングを必要とせずに、テストセットのポーズ推定の改善につながることを示す。
  論文  参考訳（メタデータ） (2022-04-29T20:42:48Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。