論文の概要: Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
- arxiv url: http://arxiv.org/abs/2407.08023v1
- Date: Wed, 10 Jul 2024 20:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 21:29:18.770192
- Title: Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
- Title（参考訳）: エゴセントリック・ローカライゼーションのためのハイブリッド構造とカメラ再配置
- Authors: Jinjie Mai, Abdullah Hamdi, Silvio Giancola, Chen Zhao, Bernard Ghanem,
- Abstract要約: VQ3Dタスクのカメラポーズ推定部を改善するためのモデルアンサンブル戦略を提案する。
中心となるアイデアは、egocentric videoのSfMだけでなく、既存の3Dスキャンと2Dビデオフレームの2D-3Dマッチングも行うことだ。
本手法は,最も重要な指標である総合的な成功率に関して,最高の性能を達成する。
- 参考スコア（独自算出の注目度）: 64.08563002366812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We built our pipeline EgoLoc-v1, mainly inspired by EgoLoc. We propose a model ensemble strategy to improve the camera pose estimation part of the VQ3D task, which has been proven to be essential in previous work. The core idea is not only to do SfM for egocentric videos but also to do 2D-3D matching between existing 3D scans and 2D video frames. In this way, we have a hybrid SfM and camera relocalization pipeline, which can provide us with more camera poses, leading to higher QwP and overall success rate. Our method achieves the best performance regarding the most important metric, the overall success rate. We surpass previous state-of-the-art, the competitive EgoLoc, by $1.5\%$. The code is available at \url{https://github.com/Wayne-Mai/egoloc_v1}.
- Abstract（参考訳）: 私たちは、主にEgoLocにインスパイアされたパイプラインEgoLoc-v1を作りました。
本稿では,VQ3Dタスクのカメラポーズ推定部を改善するためのモデルアンサンブル戦略を提案する。
中心となるアイデアは、egocentric videoのSfMだけでなく、既存の3Dスキャンと2Dビデオフレームの2D-3Dマッチングも行うことだ。
このようにして、ハイブリッドなSfMとカメラ再ローカライゼーションパイプラインがあり、より多くのカメラのポーズを提供し、QwPが向上し、全体的な成功率も向上します。
本手法は,最も重要な指標である総合的な成功率に関して,最高の性能を達成する。
われわれはこれまでの最先端のEgoLocを$1.5\%で上回っている。
コードは \url{https://github.com/Wayne-Mai/egoloc_v1} で公開されている。
関連論文リスト
- HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos [26.766489527823662]
HaWoRは、エゴセントリックなビデオから世界座標のハンドモーション再構成のための高忠実度手法である。
正確なカメラ軌道推定を実現するために,適応型エゴセントリックSLAMフレームワークを提案する。
本研究では,HawoRが手動再建と世界フレームカメラの軌跡推定の両面において,最先端の性能を実現することを実証する。
論文 参考訳（メタデータ） (2025-01-06T12:29:33Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。
その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
論文 参考訳（メタデータ） (2024-11-20T18:58:31Z) - UniHOI: Learning Fast, Dense and Generalizable 4D Reconstruction for Egocentric Hand Object Interaction Videos [25.41337525728398]
密集した4次元再構成に必要な全ての変数を統一するモデルであるUniHOIを導入する。
UniHOIは、動きの存在下で、高速で密度が高く、一般的な単眼的なHOIシーンを再構築するための最初のアプローチである。
論文 参考訳（メタデータ） (2024-11-14T02:57:11Z) - SelfOcc: Self-Supervised Vision-Based 3D Occupancy Prediction [77.15924044466976]
本稿では,ビデオシーケンスのみを用いて,自己指導型3D習熟学習手法を提案する。
まず、画像を3D空間(例えば鳥の目視)に変換し、シーンの3D表現を得る。
そして、前と将来のフレームの2D画像を自己超越信号として描画し、3D表現を学習する。
論文 参考訳（メタデータ） (2023-11-21T17:59:14Z) - EgoCOL: Egocentric Camera pose estimation for Open-world 3D object
Localization @Ego4D challenge 2023 [9.202585784962276]
オープンワールド3Dオブジェクトローカライゼーションのためのエゴセントリックカメラポーズ推定法であるEgoCOLを提案する。
提案手法は,2次元のカメラポーズをビデオとスキャンで独立に再現し,高いリコール精度と精度で3次元レンダリングにおける自己中心型フレームのカメラポーズを推定する。
論文 参考訳（メタデータ） (2023-06-29T00:17:23Z) - EgoLoc: Revisiting 3D Object Localization from Egocentric Videos with
Visual Queries [68.75400888770793]
我々は、エゴセントリックなビデオから2次元オブジェクトを検索することで、3次元のマルチビュー幾何をよりうまく絡み合わせるパイプラインを定式化する。
具体的には、VQ3Dタスクにおける新しい最先端の成果を設定できる87.12%の総合的な成功率を達成する。
論文 参考訳（メタデータ） (2022-12-14T01:28:12Z) - Estimating more camera poses for ego-centric videos is essential for
VQ3D [70.78927854445615]
我々は,エゴセントリックなビデオカメラのポーズ推定問題に対する新たなパイプラインを構築した。
VQ3Dの総成功率は25.8%で、ベースラインで報告された8.7%よりも2倍高い。
論文 参考訳（メタデータ） (2022-11-18T15:16:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。