論文の概要: 360$^\circ$ Depth Estimation from Multiple Fisheye Images with Origami Crown Representation of Icosahedron

• arxiv url: http://arxiv.org/abs/2007.06891v1
• Date: Tue, 14 Jul 2020 08:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 15:19:23.089840
• Title: 360$^\circ$ Depth Estimation from Multiple Fisheye Images with Origami Crown Representation of Icosahedron
• Title（参考訳）: イコサヘドロンの折り紙クラウン表現を用いた複数の魚眼画像からの360$^\circ$深度推定
• Authors: Ren Komatsu, Hiromitsu Fujii, Yusuke Tamura, Atsushi Yamashita, Hajime Asama
• Abstract要約: 全方位画像に対する新しいコサヘドロン表現とConvNetを提案する。 CrownConvは、魚眼画像と正方形画像の両方に適用して特徴を抽出することができる。 提案手法は計算効率がよいため,GPUを搭載したラップトップを用いて,魚眼画像4枚から1秒以内で深度を推定する。
• 参考スコア（独自算出の注目度）: 5.384800591054856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we present a method for all-around depth estimation from multiple omnidirectional images for indoor environments. In particular, we focus on plane-sweeping stereo as the method for depth estimation from the images. We propose a new icosahedron-based representation and ConvNets for omnidirectional images, which we name "CrownConv" because the representation resembles a crown made of origami. CrownConv can be applied to both fisheye images and equirectangular images to extract features. Furthermore, we propose icosahedron-based spherical sweeping for generating the cost volume on an icosahedron from the extracted features. The cost volume is regularized using the three-dimensional CrownConv, and the final depth is obtained by depth regression from the cost volume. Our proposed method is robust to camera alignments by using the extrinsic camera parameters; therefore, it can achieve precise depth estimation even when the camera alignment differs from that in the training dataset. We evaluate the proposed model on synthetic datasets and demonstrate its effectiveness. As our proposed method is computationally efficient, the depth is estimated from four fisheye images in less than a second using a laptop with a GPU. Therefore, it is suitable for real-world robotics applications. Our source code is available at https://github.com/matsuren/crownconv360depth.
• Abstract（参考訳）: 本研究では,屋内環境における多方向画像からの全周深度推定手法を提案する。 特に,画像から深度を推定する手法として,平面スウィーピングステレオに着目した。 オリガミの冠に類似しているため、「CrownConv」と命名した全方位画像に対して、新しいイコサヘドロンに基づく表現とConvNetsを提案する。 crownconvは魚眼画像と等角画像の両方に適用でき、特徴を抽出することができる。 さらに,抽出した特徴量からイコサヘドロンのコストボリュームを生成するために,イコサヘドロンを用いた球面スイーピングを提案する。 コストボリュームは3次元クラウンコンブを用いて正規化し、コストボリュームから深さ回帰によって最終的な深さを求める。 提案手法は,外部カメラパラメータを用いてカメラアライメントに頑健であるため,トレーニングデータセットとカメラアライメントが異なる場合でも,正確な深度推定が可能である。 提案する合成データセットのモデルを評価し,その有効性を実証する。 提案手法は計算効率がよいため,GPUを搭載したラップトップを用いて,魚眼画像4枚から1秒以内で深度を推定する。 そのため、現実世界のロボット応用に適している。 ソースコードはhttps://github.com/matsuren/crownconv360depthから入手できます。

関連論文リスト

• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive depth range and depth interval [19.28042366225802]
  マルチビューステレオ(MVS)は幾何学的コンピュータビジョンの基本的な問題である。 適応的な全画素深度範囲と深度間隔を実現するために,新しい多段粗大化フレームワークを提案する。 我々のモデルは最先端の性能を達成し、競争一般化能力を得る。
  論文  参考訳（メタデータ） (2023-08-17T14:52:11Z)
• Lightweight Monocular Depth Estimation [4.19709743271943]
  画像セグメンテーションネットワークのUnet構造を入力として,単一のRGB画像のみを与えられた各画素の深さ値を予測するために,軽量な機械学習モデルを構築した。 提案手法は比較的高精度かつ低ルート平均二乗誤差を実現する。
  論文  参考訳（メタデータ） (2022-12-21T21:05:16Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• SCONE: Surface Coverage Optimization in Unknown Environments by Volumetric Integration [23.95135709027516]
  次回ベストビュー計算(NBV)は、ロボット工学における長年の問題である。 体積表現上でモンテカルロ積分により表面積を最大化できることが示される。 入力はLidarシステムのような深度センサーで収集された任意の大きさの点雲と、カメラのポーズでNBVを予測する。
  論文  参考訳（メタデータ） (2022-08-22T17:04:14Z)
• Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
  我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。 我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。 我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-07-26T15:48:46Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior [133.76192155312182]
  本研究では,コプラナー画素からの情報を選択的に活用して予測深度を改善する手法を提案する。 本手法の広範な評価により, 教師付き単分子深度推定法において, 新たな手法の確立が期待できる。
  論文  参考訳（メタデータ） (2022-04-05T10:03:52Z)
• 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation [15.65828728205071]
  360degデータでは 単分子深度推定は 依然として課題です 現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。 タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:57:29Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。