論文の概要: SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via
Swin Transformer and Densely Cascaded Network
- arxiv url: http://arxiv.org/abs/2301.06715v1
- Date: Tue, 17 Jan 2023 06:01:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 14:46:10.082193
- Title: SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via
Swin Transformer and Densely Cascaded Network
- Title（参考訳）: SwinDepth:Swin TransformerとDensely Cascaded Networkによる単分子系列を用いた教師なし深さ推定
- Authors: Dongseok Shim, H. Jin Kim
- Abstract要約: 教師付きトレーニングのための深層地下深度ラベルの取得は困難であり,単分子配列を用いた教師なし深度推定が有望な代替手段として出現する。
本稿では,画像特徴抽出器としてコンボリューションフリーのSwin Transformerを用い,局所的幾何学的特徴と大域的意味的特徴の両方を網羅して深度推定を行う。
また,Densely Cascaded Multi-scale Network (DCMNet)を提案する。
- 参考スコア（独自算出の注目度）: 29.798579906253696
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Monocular depth estimation plays a critical role in various computer vision
and robotics applications such as localization, mapping, and 3D object
detection. Recently, learning-based algorithms achieve huge success in depth
estimation by training models with a large amount of data in a supervised
manner. However, it is challenging to acquire dense ground truth depth labels
for supervised training, and the unsupervised depth estimation using monocular
sequences emerges as a promising alternative. Unfortunately, most studies on
unsupervised depth estimation explore loss functions or occlusion masks, and
there is little change in model architecture in that ConvNet-based
encoder-decoder structure becomes a de-facto standard for depth estimation. In
this paper, we employ a convolution-free Swin Transformer as an image feature
extractor so that the network can capture both local geometric features and
global semantic features for depth estimation. Also, we propose a Densely
Cascaded Multi-scale Network (DCMNet) that connects every feature map directly
with another from different scales via a top-down cascade pathway. This densely
cascaded connectivity reinforces the interconnection between decoding layers
and produces high-quality multi-scale depth outputs. The experiments on two
different datasets, KITTI and Make3D, demonstrate that our proposed method
outperforms existing state-of-the-art unsupervised algorithms.
- Abstract（参考訳）: 単眼深度推定は、ローカライゼーション、マッピング、三次元物体検出などの様々なコンピュータビジョンやロボティクスの応用において重要な役割を果たす。
近年,学習に基づくアルゴリズムは,教師付き方式で大量のデータを持つ訓練モデルにより,深度推定に大きな成功を収めている。
しかし, 教師付き訓練のための深度深度ラベルの取得は困難であり, 単分子配列を用いた教師なし深度推定が有望な代替手段として現れる。
残念なことに、教師なし深度推定のほとんどの研究は損失関数や閉塞マスクを探索しており、ConvNetベースのエンコーダデコーダ構造が深度推定のデファクト標準となるモデルアーキテクチャにはほとんど変化がない。
本稿では,画像特徴抽出器としてコンボリューションフリーのSwin Transformerを用い,局所的幾何学的特徴と大域的意味的特徴の両方を網羅して深度推定を行う。
また,すべての機能マップを,トップダウンカスケード経路を介して,他の機能マップと直接接続するマルチスケールネットワーク(dcmnet)を提案する。
この密結合は、復号層間の相互接続を強化し、高品質なマルチスケール深度出力を生成する。
KITTIとMake3Dの2つの異なるデータセットに対する実験により,提案手法が既存の最先端の教師なしアルゴリズムより優れていることを示す。
関連論文リスト
- DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。
まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。
また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文 参考訳（メタデータ） (2024-10-17T17:59:58Z) - Self-supervised Monocular Depth Estimation with Large Kernel Attention [30.44895226042849]
より詳細な情報を得るために,自己教師付き単眼深度推定ネットワークを提案する。
具体的には,長距離依存性をモデル化可能なカーネルアテンションに基づくデコーダを提案する。
提案手法は,KITTIデータセット上での競合結果を実現する。
論文 参考訳（メタデータ） (2024-09-26T14:44:41Z) - Depthformer : Multiscale Vision Transformer For Monocular Depth
Estimation With Local Global Information Fusion [6.491470878214977]
本稿では,屋内のNYUV2データセットと屋外のKITTIデータセットの深度推定のためのトランスフォーマーベースモデルをベンチマークする。
単眼深度推定のための新しいアテンションベースアーキテクチャDepthformerを提案する。
提案手法は,屋根平均正方形誤差(RMSE)でそれぞれ3.3%,3.3%改善する。
論文 参考訳（メタデータ） (2022-07-10T20:49:11Z) - HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。
360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-04-11T11:11:43Z) - 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。
私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。
本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
論文 参考訳（メタデータ） (2021-12-01T00:52:42Z) - VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。
ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。
異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
論文 参考訳（メタデータ） (2021-08-19T11:33:58Z) - PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View
Depth Estimation with Neural Positional Encoding and Distilled Matting Loss [49.66736599668501]
PLADE-Netと呼ばれる自己監視型単視点画素レベルの高精度深度推定ネットワークを提案する。
提案手法は,KITTIデータセットの$delta1$測定値の95%を超え,前例のない精度を示す。
論文 参考訳（メタデータ） (2021-03-12T15:54:46Z) - Monocular 3D Object Detection with Sequential Feature Association and
Depth Hint Augmentation [12.55603878441083]
FADNetは、モノクル3Dオブジェクト検出の課題に対処するために提示される。
専用のディープヒントモジュールは、ディープヒントと呼ばれる行ワイズ機能を生成するように設計されている。
この研究の貢献は、KITTIベンチマークの実験およびアブレーション研究によって検証される。
論文 参考訳（メタデータ） (2020-11-30T07:19:14Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-26T04:04:21Z) - DELTAS: Depth Estimation by Learning Triangulation And densification of
Sparse points [14.254472131009653]
多視点ステレオ (MVS) は, 能動深度センシングの精度と単眼深度推定の実用性の間の黄金平均値である。
3次元畳み込みニューラルネットワーク(CNN)を用いたコストボリュームベースのアプローチにより、MVSシステムの精度が大幅に向上した。
まず、(a)興味点の記述子を検出して評価し、次に(b)興味点の小さな集合をマッチングして三角測量し、最後に(c)CNNを用いてこのスパースな3D点の集合を密度化することで、効率的な深さ推定手法を提案する。
論文 参考訳（メタデータ） (2020-03-19T17:56:41Z) - Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。
提案手法は, 時系列の深度マップを生成する。
モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
論文 参考訳（メタデータ） (2020-01-08T16:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。