論文の概要: Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
- arxiv url: http://arxiv.org/abs/2407.08023v1
- Date: Wed, 10 Jul 2024 20:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 21:29:18.770192
- Title: Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
- Title（参考訳）: エゴセントリック・ローカライゼーションのためのハイブリッド構造とカメラ再配置
- Authors: Jinjie Mai, Abdullah Hamdi, Silvio Giancola, Chen Zhao, Bernard Ghanem,
- Abstract要約: VQ3Dタスクのカメラポーズ推定部を改善するためのモデルアンサンブル戦略を提案する。
中心となるアイデアは、egocentric videoのSfMだけでなく、既存の3Dスキャンと2Dビデオフレームの2D-3Dマッチングも行うことだ。
本手法は,最も重要な指標である総合的な成功率に関して,最高の性能を達成する。
- 参考スコア（独自算出の注目度）: 64.08563002366812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We built our pipeline EgoLoc-v1, mainly inspired by EgoLoc. We propose a model ensemble strategy to improve the camera pose estimation part of the VQ3D task, which has been proven to be essential in previous work. The core idea is not only to do SfM for egocentric videos but also to do 2D-3D matching between existing 3D scans and 2D video frames. In this way, we have a hybrid SfM and camera relocalization pipeline, which can provide us with more camera poses, leading to higher QwP and overall success rate. Our method achieves the best performance regarding the most important metric, the overall success rate. We surpass previous state-of-the-art, the competitive EgoLoc, by $1.5\%$. The code is available at \url{https://github.com/Wayne-Mai/egoloc_v1}.
- Abstract（参考訳）: 私たちは、主にEgoLocにインスパイアされたパイプラインEgoLoc-v1を作りました。
本稿では,VQ3Dタスクのカメラポーズ推定部を改善するためのモデルアンサンブル戦略を提案する。
中心となるアイデアは、egocentric videoのSfMだけでなく、既存の3Dスキャンと2Dビデオフレームの2D-3Dマッチングも行うことだ。
このようにして、ハイブリッドなSfMとカメラ再ローカライゼーションパイプラインがあり、より多くのカメラのポーズを提供し、QwPが向上し、全体的な成功率も向上します。
本手法は,最も重要な指標である総合的な成功率に関して,最高の性能を達成する。
われわれはこれまでの最先端のEgoLocを$1.5\%で上回っている。
コードは \url{https://github.com/Wayne-Mai/egoloc_v1} で公開されている。
関連論文リスト
- Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。
その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
論文 参考訳（メタデータ） (2024-11-20T18:58:31Z) - UniHOI: Learning Fast, Dense and Generalizable 4D Reconstruction for Egocentric Hand Object Interaction Videos [25.41337525728398]
密集した4次元再構成に必要な全ての変数を統一するモデルであるUniHOIを導入する。
UniHOIは、動きの存在下で、高速で密度が高く、一般的な単眼的なHOIシーンを再構築するための最初のアプローチである。
論文 参考訳（メタデータ） (2024-11-14T02:57:11Z) - GFlow: Recovering 4D World from Monocular Video [58.63051670458107]
GFlowは、ビデオ(3D)を4次元の明示的な表現に持ち上げるフレームワークで、空間と時間を通してガウスのスプラッティングの流れを包含する。
GFlowはまずシーンを静止部分と移動部分にクラスタリングし、逐次最適化プロセスを適用する。
GFlowは、単なる4D再構築の境界を超越する。
論文 参考訳（メタデータ） (2024-05-28T17:59:22Z) - SelfOcc: Self-Supervised Vision-Based 3D Occupancy Prediction [77.15924044466976]
本稿では,ビデオシーケンスのみを用いて,自己指導型3D習熟学習手法を提案する。
まず、画像を3D空間(例えば鳥の目視)に変換し、シーンの3D表現を得る。
そして、前と将来のフレームの2D画像を自己超越信号として描画し、3D表現を学習する。
論文 参考訳（メタデータ） (2023-11-21T17:59:14Z) - EgoCOL: Egocentric Camera pose estimation for Open-world 3D object
Localization @Ego4D challenge 2023 [9.202585784962276]
オープンワールド3Dオブジェクトローカライゼーションのためのエゴセントリックカメラポーズ推定法であるEgoCOLを提案する。
提案手法は,2次元のカメラポーズをビデオとスキャンで独立に再現し,高いリコール精度と精度で3次元レンダリングにおける自己中心型フレームのカメラポーズを推定する。
論文 参考訳（メタデータ） (2023-06-29T00:17:23Z) - EgoVSR: Towards High-Quality Egocentric Video Super-Resolution [23.50915512118989]
EgoVSRは、エゴセントリックビデオ用に特別に設計されたビデオ超解法フレームワークである。
VSRフレームワークのDual Branch Deblur Network (DB$2$Net) を用いて,エゴセントリックな動画における動きのぼかしに明示的に対処する。
一般的なVSRトレーニングデータに対するオンラインモーションブラー合成モデルを提案し,エゴセントリックビデオのような動きブラーをシミュレートした。
論文 参考訳（メタデータ） (2023-05-24T04:25:51Z) - EgoLoc: Revisiting 3D Object Localization from Egocentric Videos with
Visual Queries [68.75400888770793]
我々は、エゴセントリックなビデオから2次元オブジェクトを検索することで、3次元のマルチビュー幾何をよりうまく絡み合わせるパイプラインを定式化する。
具体的には、VQ3Dタスクにおける新しい最先端の成果を設定できる87.12%の総合的な成功率を達成する。
論文 参考訳（メタデータ） (2022-12-14T01:28:12Z) - Estimating more camera poses for ego-centric videos is essential for
VQ3D [70.78927854445615]
我々は,エゴセントリックなビデオカメラのポーズ推定問題に対する新たなパイプラインを構築した。
VQ3Dの総成功率は25.8%で、ベースラインで報告された8.7%よりも2倍高い。
論文 参考訳（メタデータ） (2022-11-18T15:16:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。