論文の概要: PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth
Estimation
- arxiv url: http://arxiv.org/abs/2202.01323v1
- Date: Wed, 2 Feb 2022 23:08:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-05 04:04:28.163746
- Title: PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth
Estimation
- Title(参考訳): panodepth:単眼全方位深度推定のための2段階アプローチ
- Authors: Yuyan Li, Zhixin Yan, Ye Duan, Liu Ren
- Abstract要約: 一方向単分子深度推定のための新しいモデルに依存しない2段階パイプラインを提案する。
筆者らのフレームワークであるPanoDepthは、360度画像を入力として、第1段階で1つ以上の合成されたビューを生成し、原画像と合成されたイメージをその後のステレオマッチングステージに供給する。
以上の結果から,PanoDepthは360度単分子深度推定において,最先端のアプローチよりも高い性能を示した。
- 参考スコア(独自算出の注目度): 11.66493799838823
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Omnidirectional 3D information is essential for a wide range of applications
such as Virtual Reality, Autonomous Driving, Robotics, etc. In this paper, we
propose a novel, model-agnostic, two-stage pipeline for omnidirectional
monocular depth estimation. Our proposed framework PanoDepth takes one 360
image as input, produces one or more synthesized views in the first stage, and
feeds the original image and the synthesized images into the subsequent stereo
matching stage. In the second stage, we propose a differentiable Spherical
Warping Layer to handle omnidirectional stereo geometry efficiently and
effectively. By utilizing the explicit stereo-based geometric constraints in
the stereo matching stage, PanoDepth can generate dense high-quality depth. We
conducted extensive experiments and ablation studies to evaluate PanoDepth with
both the full pipeline as well as the individual modules in each stage. Our
results show that PanoDepth outperforms the state-of-the-art approaches by a
large margin for 360 monocular depth estimation.
- Abstract(参考訳): 全方向3d情報は、仮想現実、自動運転、ロボティクスなど、幅広い応用に不可欠である。
本稿では,全方位単眼深度推定のための新しいモデル非依存二段パイプラインを提案する。
提案フレームワークであるpanodepthでは,360度画像を入力として,第1段階で1つ以上の合成ビューを生成し,元の画像と合成画像をステレオマッチングステージに投入する。
第2段階では,全方位ステレオ幾何を効率よく,効果的に扱える球面ウォーピング層を提案する。
ステレオマッチング段階における明示的なステレオベースの幾何学的制約を利用することで、PanoDepthは密度の高い高品質な深さを生成することができる。
我々は,全パイプラインと各ステージの個別モジュールのパノディフを評価するために,広範囲にわたる実験とアブレーションを行った。
その結果,360度単眼深度推定ではpanodepthが最先端のアプローチを上回っていることがわかった。
関連論文リスト
- Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via
Establishing Pseudo-Stereo Supervision [40.58193195996798]
魚眼画像に基づく一方向一方向MVSフレームワークを提案する。
2つの360deg画像は特別なポーズでステレオ対を定式化し、光度一貫性を利用して教師なし制約を確立する。
実験の結果、教師なしのソリューションのパフォーマンスは、最先端の教師付き手法と競合することがわかった。
論文 参考訳(メタデータ) (2023-02-20T11:35:55Z) - BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360
Depth Estimation [59.11106101006008]
両射影融合と自己学習シナリオの組み合わせを検討するために,BiFuse++を提案する。
そこで我々は,BiFuseの性能向上のために,新たな融合モジュールとコントラスト対応測光損失を提案する。
論文 参考訳(メタデータ) (2022-09-07T06:24:21Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z) - DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。
我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。
本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
論文 参考訳(メタデータ) (2022-04-06T18:43:54Z) - Stereo Unstructured Magnification: Multiple Homography Image for View
Synthesis [72.09193030350396]
立体非構造倍率と呼ばれる一対の画像から一定の回転数で視線合成の問題を考察する。
固定された正規度と距離を持つシーン平面の集合からなる,新しいマルチホモグラフィ画像表現を提案する。
角度に基づくコストを導出し, 正規形状ごとのブレンディングを導出する。
論文 参考訳(メタデータ) (2022-04-01T01:39:28Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - CodedStereo: Learned Phase Masks for Large Depth-of-field Stereo [24.193656749401075]
従来のステレオは、画像量と信号対雑音比の基本的なトレードオフに悩まされている。
本稿では,この制限を克服する新たなエンドツーエンド学習手法を提案する。
シミュレーションで画像化できる体積の6倍の増加を示します。
論文 参考訳(メタデータ) (2021-04-09T23:44:52Z) - Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels [16.797169907541164]
本稿では,デュアルカメラのステレオとデュアルピクセルセンサのステレオを組み合わせた深度推定のためのニューラルネットワークに基づく新しいアプローチを提案する。
我々のネットワークは、2つの情報ソースを融合するために新しいアーキテクチャを使用し、純粋な双眼鏡ステレオマッチングの限界を克服することができる。
論文 参考訳(メタデータ) (2020-03-31T15:39:43Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳(メタデータ) (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。