論文の概要: H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry

• arxiv url: http://arxiv.org/abs/2104.11288v1
• Date: Thu, 22 Apr 2021 19:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 21:14:41.483827
• Title: H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry
• Title（参考訳）: H-Net:非教師付きアテンションベースステレオ深さ推定法
• Authors: Baoru Huang, Jian-Qing Zheng, Stamatia Giannarou, Daniel S. Elson
• Abstract要約: 本稿では,教師なしステレオ深度推定のためのディープラーニングフレームワークであるH-Netを紹介する。 初めて、Siameseオートエンコーダアーキテクチャが深さ推定に使用されます。 本手法は,最先端の非監視ステレオ深度推定法を上回っている。
• 参考スコア（独自算出の注目度）: 4.968452390132676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth estimation from a stereo image pair has become one of the most explored applications in computer vision, with most of the previous methods relying on fully supervised learning settings. However, due to the difficulty in acquiring accurate and scalable ground truth data, the training of fully supervised methods is challenging. As an alternative, self-supervised methods are becoming more popular to mitigate this challenge. In this paper, we introduce the H-Net, a deep-learning framework for unsupervised stereo depth estimation that leverages epipolar geometry to refine stereo matching. For the first time, a Siamese autoencoder architecture is used for depth estimation which allows mutual information between the rectified stereo images to be extracted. To enforce the epipolar constraint, the mutual epipolar attention mechanism has been designed which gives more emphasis to correspondences of features which lie on the same epipolar line while learning mutual information between the input stereo pair. Stereo correspondences are further enhanced by incorporating semantic information to the proposed attention mechanism. More specifically, the optimal transport algorithm is used to suppress attention and eliminate outliers in areas not visible in both cameras. Extensive experiments on KITTI2015 and Cityscapes show that our method outperforms the state-ofthe-art unsupervised stereo depth estimation methods while closing the gap with the fully supervised approaches.
• Abstract（参考訳）: ステレオ画像対からの深度推定はコンピュータビジョンにおいて最も検討された応用の1つとなり、従来の手法のほとんどは完全に教師付き学習設定に依存していた。 しかし、正確でスケーラブルな地上真実データを取得することの難しさから、完全教師付き手法の訓練は困難である。 代わりとして、この課題を緩和するために、自己監督型メソッドがより普及しています。 本稿では,ステレオマッチングを洗練するためにエピポーラ幾何を利用した,教師なしステレオ深度推定のためのディープラーニングフレームワークであるh-netを提案する。 最初に、修正ステレオ画像間の相互情報を抽出する深度推定にシームズオートエンコーダアーキテクチャを用いる。 エピポーラ制約を強制するために、入力ステレオペア間の相互情報を学習しながら同じエピポーラライン上にある特徴の対応をより強調する相互エピポーラ注意機構が設計されている。 提案した注意機構に意味情報を組み込むことによりステレオ対応をさらに強化する。 より具体的には、最適な輸送アルゴリズムは、両方のカメラで見えない領域の注意を抑え、異常をなくすために使用される。 kitti2015とcityscapesでの広範囲な実験により、この手法は、全教師付きアプローチでギャップを閉じながら、最先端の未教師付きステレオ深度推定手法よりも優れていることが示された。

関連論文リスト

• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency [31.261772846687297]
  複数の不均一マップを用いて擬似深度マップの誤りを特定しフィルタする手法を提案する。 実験の結果,提案手法は従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T15:05:05Z)
• Self-Supervised Depth Estimation in Laparoscopic Image using 3D Geometric Consistency [7.902636435901286]
  立体対に隠された3次元構造情報を利用する自己教師型深度推定器M3Depthを提案する。 提案手法は,公開データセットと新たに取得したデータセットの両方において,従来の自己教師型アプローチよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-08-17T17:03:48Z)
• Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge [34.380048111601894]
  本研究では,各画素のプロキシ不均一度マップと推定深度マップとを最適に選択するように訓練された2つのバイナリマスクを学習するデコーダ (MaskDecoder) を設計する。 学習したマスクは、推定深度を強制するために別のデコーダ(DepthDecoder)に送られる。 自己およびプロキシによる単分子深度推定における最先端性能の検証実験を行った。
  論文  参考訳（メタデータ） (2022-05-18T00:34:28Z)
• On the Sins of Image Synthesis Loss for Self-supervised Depth Estimation [60.780823530087446]
  画像合成の改善は深度推定の改善を必要としないことを示す。 この発散現象は、データから生じるアレラトリックな不確実性に起因している。 この観察された発散は、以前に報告されたり、深く研究されたりしていない。
  論文  参考訳（メタデータ） (2021-09-13T17:57:24Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• On the confidence of stereo matching in a deep-learning era: a quantitative evaluation [124.09613797008099]
  ステレオマッチングにおける信頼度推定の分野における10年以上の発展を概観する。 本研究では,異なるステレオアルゴリズムのプールに適用した場合と,最先端のディープステレオネットワークと組み合わせる場合とで,各測定値の異なる挙動について検討する。
  論文  参考訳（メタデータ） (2021-01-02T11:40:17Z)
• Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation [51.714092199995044]
  多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。 本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。 深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
  論文  参考訳（メタデータ） (2020-08-17T07:40:22Z)
• Self-supervised Monocular Trained Depth Estimation using Self-attention and Discrete Disparity Volume [19.785343302320918]
  本研究では,1)自己注意,2)離散的不一致予測という,自己教師付き単分子学習深度推定を改善するための2つの新しいアイデアを提案する。 これらの2つのアイデアにより、最先端の自己教師型単分子深度推定器 Monodepth2 の拡張により、KITTI 2015 と Make3D の分野で最高の結果を生み出すモデルを設計できることを示す。
  論文  参考訳（メタデータ） (2020-03-31T04:48:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。