論文の概要: Robust and Flexible Omnidirectional Depth Estimation with Multiple 360° Cameras

• arxiv url: http://arxiv.org/abs/2409.14766v1
• Date: Mon, 23 Sep 2024 07:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:12:18.799657
• Title: Robust and Flexible Omnidirectional Depth Estimation with Multiple 360° Cameras
• Title（参考訳）: 複数360度カメラによるロバスト・フレキシブル全方位深度推定
• Authors: Ming Li, Xueqian Jin, Xuejiao Hu, Jinghao Cao, Sidan Du, Yang Li,
• Abstract要約: 我々は、複数の360度カメラの幾何的制約と冗長情報を用いて、頑健で柔軟な全方位深度推定を実現する。 この2つのアルゴリズムは, 土壌パノラマ入力を施した場合でも, 精度よく深度マップを予測し, 最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 8.850391039025077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional depth estimation has received much attention from researchers in recent years. However, challenges arise due to camera soiling and variations in camera layouts, affecting the robustness and flexibility of the algorithm. In this paper, we use the geometric constraints and redundant information of multiple 360-degree cameras to achieve robust and flexible multi-view omnidirectional depth estimation. We implement two algorithms, in which the two-stage algorithm obtains initial depth maps by pairwise stereo matching of multiple cameras and fuses the multiple depth maps to achieve the final depth estimation; the one-stage algorithm adopts spherical sweeping based on hypothetical depths to construct a uniform spherical matching cost of the multi-camera images and obtain the depth. Additionally, a generalized epipolar equirectangular projection is introduced to simplify the spherical epipolar constraints. To overcome panorama distortion, a spherical feature extractor is implemented. Furthermore, a synthetic 360-degree dataset consisting of 12K road scene panoramas and 3K ground truth depth maps is presented to train and evaluate 360-degree depth estimation algorithms. Our dataset takes soiled camera lenses and glare into consideration, which is more consistent with the real-world environment. Experiments show that our two algorithms achieve state-of-the-art performance, accurately predicting depth maps even when provided with soiled panorama inputs. The flexibility of the algorithms is experimentally validated in terms of camera layouts and numbers.
• Abstract（参考訳）: 近年、全方位深度推定は研究者から多くの注目を集めている。 しかし、カメラの汚れやカメラレイアウトの変化がアルゴリズムの堅牢性や柔軟性に影響を与えているため、課題が生じる。 本稿では、複数の360度カメラの幾何的制約と冗長な情報を用いて、頑健で柔軟な全方位深度推定を実現する。 2段階のアルゴリズムは,複数のカメラのステレオマッチングによる初期深度マップを取得し,複数の深度マップを融合して最終深度推定を行う。 さらに、球面の極性制約を単純化するために、一般化された極性等角射影を導入する。 パノラマ歪みを克服するため、球状特徴抽出器を実装した。 さらに,12K道路景観パノラマと3K地上真実深度マップからなる合成360度データセットを訓練し,360度深度推定アルゴリズムの評価を行った。 われわれのデータセットは、汚れたカメラレンズと光沢を考慮に入れ、現実世界の環境とより一致している。 実験により, 土壌パノラマ入力を施した場合においても, 深度マップを精度良く予測し, 最先端の性能を実現することができた。 アルゴリズムの柔軟性は、カメラレイアウトと数値の観点から実験的に検証される。

関連論文リスト

• Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
  多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。 提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
  論文  参考訳（メタデータ） (2023-08-08T13:38:50Z)
• FS-Depth: Focal-and-Scale Depth Estimation from a Single Image in Unseen Indoor Scene [57.26600120397529]
  実際の(見えない)屋内シーンの単一の画像から絶対深度マップを予測するのには、長年不適切な問題だった。 本研究では,未確認屋内シーンの単一画像から絶対深度マップを正確に学習するための焦点・スケール深度推定モデルを開発した。
  論文  参考訳（メタデータ） (2023-07-27T04:49:36Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• 360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network [35.03201732370496]
  全方位画像からの一視点深度推定は、自律運転やシーン再構築といった幅広い応用で人気を博している。 本研究ではまず,トレーニングデータ問題に対処するため,Depth360と呼ばれるさまざまな設定の大規模データセットを構築した。 次に、人間の眼を模倣してデータセットから効果的に学習する、エンドツーエンドのマルチタスク学習ネットワークであるSegFuseを提案する。
  論文  参考訳（メタデータ） (2022-02-16T11:56:31Z)
• Panoramic Depth Estimation via Supervised and Unsupervised Learning in Indoor Scenes [8.48364407942494]
  パノラマ画像を導入して視野を大きくする。 パノラマ画像の特徴に適応したニューラルネットワークのトレーニングプロセスを改善する。 本研究は, 総合的な実験により, 屋内シーンの認識を目的とした提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-18T09:58:44Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。