論文の概要: Video Depth Estimation by Fusing Flow-to-Depth Proposals

• arxiv url: http://arxiv.org/abs/1912.12874v2
• Date: Tue, 3 Mar 2020 06:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 02:43:38.037140
• Title: Video Depth Estimation by Fusing Flow-to-Depth Proposals
• Title（参考訳）: Fusing Flow-to-Depth Proposals による映像深度推定
• Authors: Jiaxin Xie, Chenyang Lei, Zhuwen Li, Li Erran Li and Qifeng Chen
• Abstract要約: 本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
• 参考スコア（独自算出の注目度）: 65.24533384679657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth from a monocular video can enable billions of devices and robots with a single camera to see the world in 3D. In this paper, we present an approach with a differentiable flow-to-depth layer for video depth estimation. The model consists of a flow-to-depth layer, a camera pose refinement module, and a depth fusion network. Given optical flow and camera pose, our flow-to-depth layer generates depth proposals and the corresponding confidence maps by explicitly solving an epipolar geometry optimization problem. Our flow-to-depth layer is differentiable, and thus we can refine camera poses by maximizing the aggregated confidence in the camera pose refinement module. Our depth fusion network can utilize depth proposals and their confidence maps inferred from different adjacent frames to produce the final depth map. Furthermore, the depth fusion network can additionally take the depth proposals generated by other methods to improve the results further. The experiments on three public datasets show that our approach outperforms state-of-the-art depth estimation methods, and has reasonable cross dataset generalization capability: our model trained on KITTI still performs well on the unseen Waymo dataset.
• Abstract（参考訳）: 単眼ビデオの奥行きは、1台のカメラで何十億ものデバイスやロボットが3dで世界を見ることができる。 本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なるアプローチを提案する。 このモデルは、フローツーディープ層、カメラポーズリファインメントモジュール、深度融合ネットワークから構成されている。 光フローとカメラのポーズが与えられると、このフローツーディープ層はエピポーラ幾何最適化問題を明示的に解いて奥行き提案と対応する信頼度マップを生成する。 当社のフロー・ツー・ディテール層は微分可能であり、カメラポーズリファインメントモジュールの信頼性を最大化することで、カメラポーズを洗練することができる。 我々の深度融合ネットワークは、隣接する異なるフレームから推定される深度提案と信頼マップを利用して最終深度マップを作成することができる。 さらに、この深度融合ネットワークは、他の手法によって生成された深度提案を取り入れて結果をさらに改善することができる。 3つの公開データセットに対する実験により、我々のアプローチは最先端の深度推定方法より優れており、合理的なクロスデータセットの一般化能力を持っていることが明らかとなった。

関連論文リスト

• GEDepth: Ground Embedding for Monocular Depth Estimation [4.95394574147086]
  本稿では,画像からカメラパラメータを分離する新たな接地モジュールを提案する。 地下深度と残留深度を最適に組み合わせるために、地上の注意をモジュール内に設計する。 実験の結果,本手法は一般的なベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-18T17:56:06Z)
• Self-Supervised Learning based Depth Estimation from Monocular Images [0.0]
  単色深度推定の目標は、入力として2次元単色RGB画像が与えられた深度マップを予測することである。 我々は、トレーニング中に固有のカメラパラメータを実行し、我々のモデルをさらに一般化するために天気増悪を適用することを計画している。
  論文  参考訳（メタデータ） (2023-04-14T07:14:08Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences [6.821598757786515]
  LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。 深層学習に基づく自己教師付き深度推定法は有望な結果を示した。 未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-28T21:53:53Z)
• Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
  私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。 提案手法は, 時系列の深度マップを生成する。 モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
  論文  参考訳（メタデータ） (2020-01-08T16:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。