論文の概要: 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
- arxiv url: http://arxiv.org/abs/2311.17389v3
- Date: Fri, 31 May 2024 14:38:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:21:48.315376
- Title: 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
- Title（参考訳）: 360Loc: クロスデバイスクエリによる全方位視覚ローカライゼーションのためのデータセットとベンチマーク
- Authors: Huajian Huang, Changkun Liu, Yipeng Zhu, Hui Cheng, Tristan Braud, Sai-Kit Yeung,
- Abstract要約: 本稿では,視覚的ローカライゼーションのための地平線ポーズを持つ360$circ$画像からなる新しいベンチマークデータセットである360Locを紹介する。
360$circ$画像から低FoVクエリフレームを生成するための仮想カメラ手法を提案する。
一方向の視覚的ローカライゼーションは、対称性と繰り返し構造を持つ大規模シーンに挑戦する上で、より堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 24.345954562946385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portable 360$^\circ$ cameras are becoming a cheap and efficient tool to establish large visual databases. By capturing omnidirectional views of a scene, these cameras could expedite building environment models that are essential for visual localization. However, such an advantage is often overlooked due to the lack of valuable datasets. This paper introduces a new benchmark dataset, 360Loc, composed of 360$^\circ$ images with ground truth poses for visual localization. We present a practical implementation of 360$^\circ$ mapping combining 360$^\circ$ images with lidar data to generate the ground truth 6DoF poses. 360Loc is the first dataset and benchmark that explores the challenge of cross-device visual positioning, involving 360$^\circ$ reference frames, and query frames from pinhole, ultra-wide FoV fisheye, and 360$^\circ$ cameras. We propose a virtual camera approach to generate lower-FoV query frames from 360$^\circ$ images, which ensures a fair comparison of performance among different query types in visual localization tasks. We also extend this virtual camera approach to feature matching-based and pose regression-based methods to alleviate the performance loss caused by the cross-device domain gap, and evaluate its effectiveness against state-of-the-art baselines. We demonstrate that omnidirectional visual localization is more robust in challenging large-scale scenes with symmetries and repetitive structures. These results provide new insights into 360-camera mapping and omnidirectional visual localization with cross-device queries.
- Abstract（参考訳）: ポータブル360ドル^\circ$カメラは、大規模なビジュアルデータベースを確立するための安価で効率的なツールになりつつある。
シーンの全方位ビューをキャプチャすることで、これらのカメラは視覚的ローカライゼーションに不可欠な環境モデルを迅速に構築することができる。
しかし、貴重なデータセットがないため、このような利点は見過ごされがちである。
本稿では,360$^\circ$画像からなる新しいベンチマークデータセットである360Locを紹介した。
本稿では,360$^\circ$とライダーデータを組み合わせた360$^\circ$マッピングの実践的実装について述べる。
360Locは、360$^\circ$参照フレーム、ピンホール、超ワイドなFoV魚眼、360$^\circ$カメラからのクエリフレームを含む、クロスデバイスな視覚的位置決めの課題を探求する最初のデータセットとベンチマークである。
視覚的ローカライゼーションタスクにおいて,360$^\circ$画像から低FoVクエリフレームを生成する仮想カメラ手法を提案する。
また、この仮想カメラアプローチを特徴マッチングベースに拡張し、デバイス間ドメインギャップによる性能損失を軽減するために回帰ベースの手法を適用し、最先端のベースラインに対するその効果を評価する。
一方向の視覚的ローカライゼーションは、対称性と繰り返し構造を持つ大規模シーンに挑戦する上で、より堅牢であることを示す。
これらの結果は、360度カメラマッピングと、デバイス間クエリによる全方向の視覚的ローカライゼーションに関する新たな洞察を提供する。
関連論文リスト
- IM360: Textured Mesh Reconstruction for Large-scale Indoor Mapping with 360$^\circ$ Cameras [53.53895891356167]
室内環境の3次元マッピングとレンダリングのための360ドルのカメラのための新しい3D再構成パイプラインを提案する。
我々のアプローチ(IM360)は全方位画像の広い視野を活用し、球面カメラモデルをSfMパイプラインのすべてのコアコンポーネントに統合する。
Matterport3DとStanford2D3Dデータセットから大規模屋内シーンのパイプラインを評価する。
論文 参考訳（メタデータ） (2025-02-18T05:15:19Z) - From an Image to a Scene: Learning to Imagine the World from a Million 360 Videos [71.22810401256234]
オブジェクトやシーンの3次元理解は、人間が世界と対話する能力において重要な役割を果たす。
大規模合成およびオブジェクト中心の3Dデータセットは、オブジェクトの3D理解を持つモデルのトレーニングに有効であることが示されている。
我々は360-1M、360度ビデオデータセット、およびスケールの多様な視点から対応するフレームを効率的に見つけるプロセスを紹介した。
論文 参考訳（メタデータ） (2024-12-10T18:59:44Z) - Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images [52.48351378615057]
textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。
パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。
これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
論文 参考訳（メタデータ） (2024-12-09T06:58:31Z) - MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Views [90.26609689682876]
MVSplat360は多様な現実世界シーンの360degノベルビュー合成(NVS)のためのフィードフォワードアプローチであり、スパース観測のみを用いて紹介する。
この設定は、入力ビュー間の重複が最小限であり、提供された視覚情報が不十分であるために本質的に不適切である。
私たちのモデルは、エンドツーエンドのトレーニングが可能で、5つのスパースなインプットビューで任意のビューのレンダリングをサポートしています。
論文 参考訳（メタデータ） (2024-11-07T17:59:31Z) - See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳（メタデータ） (2024-01-07T09:17:32Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - 360VOT: A New Benchmark Dataset for Omnidirectional Visual Object
Tracking [10.87309734945868]
360deg画像は、安定かつ長期のシーン知覚にとって重要な全方位視野を提供することができる。
本稿では,視覚的物体追跡のための360度デグ画像について検討し,歪みによる新たな課題について考察する。
今後の研究を促進するため,新しい大規模全方位追跡ベンチマークである360VOTを提案する。
論文 参考訳（メタデータ） (2023-07-27T05:32:01Z) - Lazy Visual Localization via Motion Averaging [89.8709956317671]
本研究では,データベースからシーンを再構築することなく,高精度なローカライゼーションを実現することができることを示す。
実験の結果、我々の視覚的ローカライゼーションの提案であるLazyLocは、最先端の構造に基づく手法に対して同等のパフォーマンスを実現していることがわかった。
論文 参考訳（メタデータ） (2023-07-19T13:40:45Z) - Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。
FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。
360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
論文 参考訳（メタデータ） (2022-02-07T14:01:59Z) - A Fixation-based 360{\deg} Benchmark Dataset for Salient Object
Detection [21.314578493964333]
パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。
静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
論文 参考訳（メタデータ） (2020-01-22T11:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。