論文の概要: 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
- arxiv url: http://arxiv.org/abs/2311.17389v3
- Date: Fri, 31 May 2024 14:38:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:21:48.315376
- Title: 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
- Title（参考訳）: 360Loc: クロスデバイスクエリによる全方位視覚ローカライゼーションのためのデータセットとベンチマーク
- Authors: Huajian Huang, Changkun Liu, Yipeng Zhu, Hui Cheng, Tristan Braud, Sai-Kit Yeung,
- Abstract要約: 本稿では,視覚的ローカライゼーションのための地平線ポーズを持つ360$circ$画像からなる新しいベンチマークデータセットである360Locを紹介する。
360$circ$画像から低FoVクエリフレームを生成するための仮想カメラ手法を提案する。
一方向の視覚的ローカライゼーションは、対称性と繰り返し構造を持つ大規模シーンに挑戦する上で、より堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 24.345954562946385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portable 360$^\circ$ cameras are becoming a cheap and efficient tool to establish large visual databases. By capturing omnidirectional views of a scene, these cameras could expedite building environment models that are essential for visual localization. However, such an advantage is often overlooked due to the lack of valuable datasets. This paper introduces a new benchmark dataset, 360Loc, composed of 360$^\circ$ images with ground truth poses for visual localization. We present a practical implementation of 360$^\circ$ mapping combining 360$^\circ$ images with lidar data to generate the ground truth 6DoF poses. 360Loc is the first dataset and benchmark that explores the challenge of cross-device visual positioning, involving 360$^\circ$ reference frames, and query frames from pinhole, ultra-wide FoV fisheye, and 360$^\circ$ cameras. We propose a virtual camera approach to generate lower-FoV query frames from 360$^\circ$ images, which ensures a fair comparison of performance among different query types in visual localization tasks. We also extend this virtual camera approach to feature matching-based and pose regression-based methods to alleviate the performance loss caused by the cross-device domain gap, and evaluate its effectiveness against state-of-the-art baselines. We demonstrate that omnidirectional visual localization is more robust in challenging large-scale scenes with symmetries and repetitive structures. These results provide new insights into 360-camera mapping and omnidirectional visual localization with cross-device queries.
- Abstract（参考訳）: ポータブル360ドル^\circ$カメラは、大規模なビジュアルデータベースを確立するための安価で効率的なツールになりつつある。
シーンの全方位ビューをキャプチャすることで、これらのカメラは視覚的ローカライゼーションに不可欠な環境モデルを迅速に構築することができる。
しかし、貴重なデータセットがないため、このような利点は見過ごされがちである。
本稿では,360$^\circ$画像からなる新しいベンチマークデータセットである360Locを紹介した。
本稿では,360$^\circ$とライダーデータを組み合わせた360$^\circ$マッピングの実践的実装について述べる。
360Locは、360$^\circ$参照フレーム、ピンホール、超ワイドなFoV魚眼、360$^\circ$カメラからのクエリフレームを含む、クロスデバイスな視覚的位置決めの課題を探求する最初のデータセットとベンチマークである。
視覚的ローカライゼーションタスクにおいて,360$^\circ$画像から低FoVクエリフレームを生成する仮想カメラ手法を提案する。
また、この仮想カメラアプローチを特徴マッチングベースに拡張し、デバイス間ドメインギャップによる性能損失を軽減するために回帰ベースの手法を適用し、最先端のベースラインに対するその効果を評価する。
一方向の視覚的ローカライゼーションは、対称性と繰り返し構造を持つ大規模シーンに挑戦する上で、より堅牢であることを示す。
これらの結果は、360度カメラマッピングと、デバイス間クエリによる全方向の視覚的ローカライゼーションに関する新たな洞察を提供する。
関連論文リスト
- 360 in the Wild: Dataset for Depth Prediction and View Synthesis [66.58513725342125]
大規模な360$circ$ビデオデータセットを野放しに導入する。
このデータセットはインターネットから慎重に取り除かれ、世界中で様々な場所から収集されている。
データセットを構成する25K画像のそれぞれに、それぞれのカメラのポーズと深さマップが提供される。
論文 参考訳（メタデータ） (2024-06-27T05:26:38Z) - See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳（メタデータ） (2024-01-07T09:17:32Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - 360VOT: A New Benchmark Dataset for Omnidirectional Visual Object
Tracking [10.87309734945868]
360deg画像は、安定かつ長期のシーン知覚にとって重要な全方位視野を提供することができる。
本稿では,視覚的物体追跡のための360度デグ画像について検討し,歪みによる新たな課題について考察する。
今後の研究を促進するため,新しい大規模全方位追跡ベンチマークである360VOTを提案する。
論文 参考訳（メタデータ） (2023-07-27T05:32:01Z) - Lazy Visual Localization via Motion Averaging [89.8709956317671]
本研究では,データベースからシーンを再構築することなく,高精度なローカライゼーションを実現することができることを示す。
実験の結果、我々の視覚的ローカライゼーションの提案であるLazyLocは、最先端の構造に基づく手法に対して同等のパフォーマンスを実現していることがわかった。
論文 参考訳（メタデータ） (2023-07-19T13:40:45Z) - Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。
我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。
本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
論文 参考訳（メタデータ） (2022-09-19T12:23:34Z) - Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。
FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。
360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
論文 参考訳（メタデータ） (2022-02-07T14:01:59Z) - ScanGAN360: A Generative Model of Realistic Scanpaths for 360$^{\circ}$
Images [92.8211658773467]
ScanGAN360は,360ドル周画像のスキャンパスを生成するための,新たな生成逆解析手法である。
我々は,損失関数として動的時間ゆがみの球面適応を利用することにより,これを実現する。
私たちのスキャンパスの品質は、競合するアプローチを大きなマージンで上回り、人間のベースラインとほぼ同等です。
論文 参考訳（メタデータ） (2021-03-25T15:34:18Z) - A Fixation-based 360{\deg} Benchmark Dataset for Salient Object
Detection [21.314578493964333]
パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。
静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
論文 参考訳（メタデータ） (2020-01-22T11:16:39Z) - Visual Question Answering on 360{\deg} Images [96.00046925811515]
VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。
最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
論文 参考訳（メタデータ） (2020-01-10T08:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。