論文の概要: MirrorCalib: Utilizing Human Pose Information for Mirror-based Virtual
Camera Calibration
- arxiv url: http://arxiv.org/abs/2311.02791v2
- Date: Fri, 12 Jan 2024 19:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:59:11.956593
- Title: MirrorCalib: Utilizing Human Pose Information for Mirror-based Virtual
Camera Calibration
- Title(参考訳): mirrorcalib: 仮想カメラのキャリブレーションに人間のポーズ情報を利用する
- Authors: Longyun Liao, Andrew Mitchell, Rong Zheng
- Abstract要約: 本稿では,鏡を用いたエクササイズビデオにおいて,実際のカメラと比較して仮想カメラのパラメータを推定する新しいタスクを提案する。
人体と2次元関節位置の事前知識を用いて、カメラ外在パラメータを推定する。
MirrorCalibは合成データと実データの両方で評価され、回転誤差は0.62deg/1.82deg、翻訳誤差は37.33/69.51mmである。
- 参考スコア(独自算出の注目度): 4.244891375486502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present the novel task of estimating the extrinsic
parameters of a virtual camera relative to a real camera in exercise videos
with a mirror. This task poses a significant challenge in scenarios where the
views from the real and mirrored cameras have no overlap or share salient
features. To address this issue, prior knowledge of a human body and 2D joint
locations are utilized to estimate the camera extrinsic parameters when a
person is in front of a mirror. We devise a modified eight-point algorithm to
obtain an initial estimation from 2D joint locations. The 2D joint locations
are then refined subject to human body constraints. Finally, a RANSAC algorithm
is employed to remove outliers by comparing their epipolar distances to a
predetermined threshold. MirrorCalib is evaluated on both synthetic and real
datasets and achieves a rotation error of 0.62{\deg}/1.82{\deg} and a
translation error of 37.33/69.51 mm on the synthetic/real dataset, which
outperforms the state-of-art method.
- Abstract(参考訳): 本稿では,鏡を用いたエクササイズビデオにおいて,実際のカメラと比較して仮想カメラの外部パラメータを推定する新しいタスクを提案する。
このタスクは、リアルカメラとミラーリングカメラからのビューが重複したり、機能を共有したりしないシナリオにおいて、大きな課題となる。
この問題に対処するために、人物が鏡の前にいるとき、人体と2次元関節位置の事前知識を利用して、カメラの外部パラメータを推定する。
2次元ジョイント位置から初期推定を得るために修正8点アルゴリズムを考案する。
2dジョイントの位置は、人体の制約により洗練される。
最後に、そのエピポーラ距離を所定のしきい値と比較することにより、外れ値を除去するためにransacアルゴリズムを用いる。
MirrorCalib は合成データセットと実データセットの両方で評価され、回転誤差は 0.62{\deg}/1.82{\deg} 、翻訳誤差は 37.33/69.51 mm である。
関連論文リスト
- Camera Calibration through Geometric Constraints from Rotation and
Projection Matrices [4.100632594106989]
本稿では,カメラの内在的・外在的パラメータを測定するための制約に基づく新たな損失を提案する。
我々の手法は、ニューラルネットワークの学習能力を利用して、望ましいパラメータを推定するハイブリッドアプローチである。
提案手法は,最新のSOTA(State-of-the-art)ベンチマークと比較して,全パラメータにまたがる改善を示す。
論文 参考訳(メタデータ) (2024-02-13T13:07:34Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳(メタデータ) (2023-09-19T02:20:26Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳(メタデータ) (2023-03-24T04:22:41Z) - Multi-task Learning for Camera Calibration [3.274290296343038]
一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。
カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
論文 参考訳(メタデータ) (2022-11-22T17:39:31Z) - Ambiguity-Aware Multi-Object Pose Optimization for Visually-Assisted
Robot Manipulation [17.440729138126162]
あいまいさを意識した6Dオブジェクトポーズ推定ネットワークPrimA6D++を汎用的不確実性予測手法として提案する。
提案手法は,T-LESS と YCB-Video のデータセットの性能向上を示す。
さらに,視覚支援ロボット操作のためのリアルタイムシーン認識機能を示す。
論文 参考訳(メタデータ) (2022-11-02T08:57:20Z) - Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。
我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。
我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2022-07-26T15:48:46Z) - SPEC: Seeing People in the Wild with an Estimated Camera [64.85791231401684]
1枚の画像から視点カメラを推定する最初の3DHPS方式であるSPECを紹介する。
我々は、視野、カメラピッチ、入力画像のロールを推定するためにニューラルネットワークを訓練する。
次に、カメラキャリブレーションを画像の特徴に合わせてロールする新しいネットワークをトレーニングし、これらを組み合わせて3Dのボディ形状とポーズを復元する。
論文 参考訳(メタデータ) (2021-10-01T19:05:18Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳(メタデータ) (2021-07-08T15:19:36Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳(メタデータ) (2021-04-08T04:27:32Z) - Structure of Multiple Mirror System from Kaleidoscopic Projections of
Single 3D Point [14.345346642066511]
本稿では,複数の平面ミラーとカメラから構成されるカレイドスコピックイメージングシステムの構造を発見するための新しいアルゴリズムを提案する。
本論文の重要な貢献は、未知のジオメトリの1つの3次元点を用いて、これらの問題に対する新しいアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2021-03-29T11:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。