論文の概要: 2T-UNET: A Two-Tower UNet with Depth Clues for Robust Stereo Depth Estimation

• arxiv url: http://arxiv.org/abs/2210.15374v1
• Date: Thu, 27 Oct 2022 12:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 14:29:58.817397
• Title: 2T-UNET: A Two-Tower UNet with Depth Clues for Robust Stereo Depth Estimation
• Title（参考訳）: 2T-UNET:ロバストステレオ深さ推定のための深さ曲線付き2tower UNet
• Authors: Rohit Choudhary and Mansi Sharma and Rithvik Anil
• Abstract要約: 本稿では, 単純な2-tower畳み込みニューラルネットワークを用いて, 明示的なステレオマッチングを回避し, 深度推定問題を再検討する。 提案アルゴリズムは2T-UNetと呼ばれる。 アーキテクチャは複雑な自然のシーンで驚くほどよく機能し、様々なリアルタイムアプリケーションにその有用性を強調します。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Stereo correspondence matching is an essential part of the multi-step stereo depth estimation process. This paper revisits the depth estimation problem, avoiding the explicit stereo matching step using a simple two-tower convolutional neural network. The proposed algorithm is entitled as 2T-UNet. The idea behind 2T-UNet is to replace cost volume construction with twin convolution towers. These towers have an allowance for different weights between them. Additionally, the input for twin encoders in 2T-UNet are different compared to the existing stereo methods. Generally, a stereo network takes a right and left image pair as input to determine the scene geometry. However, in the 2T-UNet model, the right stereo image is taken as one input and the left stereo image along with its monocular depth clue information, is taken as the other input. Depth clues provide complementary suggestions that help enhance the quality of predicted scene geometry. The 2T-UNet surpasses state-of-the-art monocular and stereo depth estimation methods on the challenging Scene flow dataset, both quantitatively and qualitatively. The architecture performs incredibly well on complex natural scenes, highlighting its usefulness for various real-time applications. Pretrained weights and code will be made readily available.
• Abstract（参考訳）: ステレオ対応マッチングは多段ステレオ深度推定プロセスにおいて不可欠な部分である。 本稿では,単純な2層畳み込みニューラルネットワークを用いて,ステレオマッチングステップを回避し,深さ推定問題を再検討する。 提案アルゴリズムは2T-UNetと呼ばれる。 2T-UNetの背景にあるアイデアは、コストボリュームの構築を2つのコンボリューションタワーに置き換えることだ。 これらの塔は、その間に異なる重量を持つ。 また,2t-unetにおけるツインエンコーダの入力は,既存のステレオ方式と異なる。 一般的にステレオネットワークは、左右のイメージペアを入力としてシーン形状を決定する。 しかし、2t不均一モデルでは、右ステレオ画像を1つの入力とし、左ステレオ画像とその単眼深度手がかり情報とをもう1つの入力とする。 奥行きの手がかりは、予測されたシーンジオメトリの品質を高めるのに役立つ補完的な提案を提供する。 2t-unetは, 定量的かつ定性的に, 難易度の高いシーンフローデータセット上で, 最先端のモノクロおよびステレオ深度推定手法を上回っている。 アーキテクチャは複雑な自然のシーンで驚くほどよく機能し、様々なリアルタイムアプリケーションにその有用性を強調します。 トレーニング済みのウェイトとコードは、簡単に利用できる。

関連論文リスト

• Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
  我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。 我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。 我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-07-26T15:48:46Z)
• MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications [0.22940141855172028]
  マルチ露光ステレオ深度推定のための新しいディープアーキテクチャを開発した。 アーキテクチャの立体深度推定コンポーネントとして,モノ・ステレオ・トランスファー学習アプローチをデプロイする。 性能の面では、提案モデルは最先端のモノクラーおよびステレオ深度推定法を超越している。
  論文  参考訳（メタデータ） (2022-06-21T13:23:22Z)
• DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
  カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。 我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。 本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
  論文  参考訳（メタデータ） (2022-04-06T18:43:54Z)
• Depth Refinement for Improved Stereo Reconstruction [13.941756438712382]
  立体画像からの深度推定の現在の技術は、なおも内蔵の欠点に悩まされている。 簡単な解析により、深度誤差は物体の距離に2乗比例することが明らかになった。 本研究では,深度推定に改良ネットワークを用いた簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-12-15T12:21:08Z)
• IB-MVS: An Iterative Algorithm for Deep Multi-View Stereo based on Binary Decisions [0.0]
  本稿では,マルチビューステレオのための新しいディープラーニング手法を提案する。 提案手法は,各画素における実現可能な深度値の連続空間を2値決定方式でトラバースすることにより,高分解能かつ高精度な深度マップを反復的に推定する。 提案手法をDTU, タンク, テンプル上の最先端のマルチビューステレオ手法と, 挑戦的なETH3Dベンチマークと比較し, 競争力のある結果を示した。
  論文  参考訳（メタデータ） (2021-11-29T10:04:24Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry [4.968452390132676]
  本稿では,教師なしステレオ深度推定のためのディープラーニングフレームワークであるH-Netを紹介する。 初めて、Siameseオートエンコーダアーキテクチャが深さ推定に使用されます。 本手法は,最先端の非監視ステレオ深度推定法を上回っている。
  論文  参考訳（メタデータ） (2021-04-22T19:16:35Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Direct Depth Learning Network for Stereo Matching [79.3665881702387]
  ステレオマッチングのための新しいダイレクトディープス学習ネットワーク(DDL-Net)が設計されている。 DDL-Netは、粗度推定段階と適応勾配深度補正段階の2段階からなる。 我々は,DDL-NetがSceneFlowデータセットで25%,DrivingStereoデータセットで12%の平均的な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2020-12-10T10:33:57Z)
• Bi3D: Stereo Depth Estimation via Binary Classifications [129.1582262491508]
  本稿では,一連のバイナリ分類を用いて深度を推定する手法であるBi3Dを提案する。 厳格な時間予算を考えれば、Bi3Dは数ミリ秒で特定の距離より近い物体を検出できる。 標準的なステレオ(すなわち全範囲の連続的な深さ)では、我々の手法は最先端の細かな調整されたステレオ手法に近いか同等である。
  論文  参考訳（メタデータ） (2020-05-14T21:33:00Z)
• Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels [16.797169907541164]
  本稿では,デュアルカメラのステレオとデュアルピクセルセンサのステレオを組み合わせた深度推定のためのニューラルネットワークに基づく新しいアプローチを提案する。 我々のネットワークは、2つの情報ソースを融合するために新しいアーキテクチャを使用し、純粋な双眼鏡ステレオマッチングの限界を克服することができる。
  論文  参考訳（メタデータ） (2020-03-31T15:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。