論文の概要: SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets

• arxiv url: http://arxiv.org/abs/2402.11791v4
• Date: Tue, 2 Apr 2024 09:02:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:39:34.226690
• Title: SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets
• Title（参考訳）: SDGE:360$^\circ$カメラセットのステレオガイド深度推定
• Authors: Jialei Xu, Wei Yin, Dong Gong, Junjun Jiang, Xianming Liu,
• Abstract要約: マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
• 参考スコア（独自算出の注目度）: 65.64958606221069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation is a critical technology in autonomous driving, and multi-camera systems are often used to achieve a 360$^\circ$ perception. These 360$^\circ$ camera sets often have limited or low-quality overlap regions, making multi-view stereo methods infeasible for the entire image. Alternatively, monocular methods may not produce consistent cross-view predictions. To address these issues, we propose the Stereo Guided Depth Estimation (SGDE) method, which enhances depth estimation of the full image by explicitly utilizing multi-view stereo results on the overlap. We suggest building virtual pinhole cameras to resolve the distortion problem of fisheye cameras and unify the processing for the two types of 360$^\circ$ cameras. For handling the varying noise on camera poses caused by unstable movement, the approach employs a self-calibration method to obtain highly accurate relative poses of the adjacent cameras with minor overlap. These enable the use of robust stereo methods to obtain high-quality depth prior in the overlap region. This prior serves not only as an additional input but also as pseudo-labels that enhance the accuracy of depth estimation methods and improve cross-view prediction consistency. The effectiveness of SGDE is evaluated on one fisheye camera dataset, Synthetic Urban, and two pinhole camera datasets, DDAD and nuScenes. Our experiments demonstrate that SGDE is effective for both supervised and self-supervised depth estimation, and highlight the potential of our method for advancing downstream autonomous driving technologies, such as 3D object detection and occupancy prediction.
• Abstract（参考訳）: 深さ推定は自律運転において重要な技術であり、マルチカメラシステムは360$^\circ$知覚を達成するためにしばしば使用される。 これらの360$^\circ$カメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 あるいは、単分子的手法は一貫したクロスビュー予測を生成できないかもしれない。 これらの課題に対処するために,重なりの多視点ステレオ結果を明示的に利用することにより,全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。 魚眼カメラの歪みを解消し、2種類の360ドル^\circ$カメラの処理を統合するために仮想ピンホールカメラを構築することを提案する。 不安定な動きによって生じるカメラポーズの様々なノイズに対処するために、近接するカメラの高精度な相対的なポーズをわずかに重なり合うように自己校正法を用いる。 これにより、重なり合う領域に先立って高品質な深さを得るためのロバストなステレオ法が利用可能となる。 この先行は、追加入力だけでなく、深度推定法の精度を高め、クロスビュー予測整合性を改善する擬似ラベルとしても機能する。 SGDEの有効性を,1つの魚眼カメラデータセット,Synthetic Urbanと2つのピンホールカメラデータセット,DDADとnuSceneで評価した。 実験により,SGDEは教師付き深度推定と自己監督型深度推定の両方に有効であることが示され,3次元物体検出や占有予測などの下流自動走行技術の進歩の可能性を強調した。

関連論文リスト

• Robust and Flexible Omnidirectional Depth Estimation with Multiple 360° Cameras [8.850391039025077]
  我々は、複数の360度カメラの幾何的制約と冗長情報を用いて、頑健で柔軟な全方位深度推定を実現する。 この2つのアルゴリズムは, 土壌パノラマ入力を施した場合でも, 精度よく深度マップを予測し, 最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-09-23T07:31:48Z)
• Depth Estimation Analysis of Orthogonally Divergent Fisheye Cameras with Distortion Removal [0.0]
  伝統的なステレオビジョンシステムは、視野が限られているため、特定のシナリオには適さないかもしれない。 魚眼カメラは、ステレオマッチングと深さ推定の精度に影響を与えるエッジの歪みを生じさせる。 本稿では,ステレオビジョンシステムにおける歪み除去・深さ推定法を提案する。
  論文  参考訳（メタデータ） (2023-07-07T13:44:12Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• CrossDTR: Cross-view and Depth-guided Transformers for 3D Object Detection [10.696619570924778]
  そこで我々は,3次元物体検出のためのクロスビューおよび奥行き誘導変換器を提案する。 歩行者検出では既存のマルチカメラ手法を10%上回り,mAPとNDSの指標では約3%を上回りました。
  論文  参考訳（メタデータ） (2022-09-27T16:23:12Z)
• Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
  スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。 我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。 従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
  論文  参考訳（メタデータ） (2022-08-26T13:04:01Z)
• Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
  我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。 我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。 我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-07-26T15:48:46Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)
• Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences [6.821598757786515]
  LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。 深層学習に基づく自己教師付き深度推定法は有望な結果を示した。 未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-28T21:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。