論文の概要: Depthformer : Multiscale Vision Transformer For Monocular Depth
Estimation With Local Global Information Fusion
- arxiv url: http://arxiv.org/abs/2207.04535v2
- Date: Tue, 12 Jul 2022 07:39:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 11:17:57.485882
- Title: Depthformer : Multiscale Vision Transformer For Monocular Depth
Estimation With Local Global Information Fusion
- Title（参考訳）: 局所グローバル情報融合を用いた単眼深度推定のためのマルチスケール視覚変換器
- Authors: Ashutosh Agarwal and Chetan Arora
- Abstract要約: 本稿では,屋内のNYUV2データセットと屋外のKITTIデータセットの深度推定のためのトランスフォーマーベースモデルをベンチマークする。
単眼深度推定のための新しいアテンションベースアーキテクチャDepthformerを提案する。
提案手法は,屋根平均正方形誤差(RMSE)でそれぞれ3.3%,3.3%改善する。
- 参考スコア（独自算出の注目度）: 6.491470878214977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention-based models such as transformers have shown outstanding
performance on dense prediction tasks, such as semantic segmentation, owing to
their capability of capturing long-range dependency in an image. However, the
benefit of transformers for monocular depth prediction has seldom been explored
so far. This paper benchmarks various transformer-based models for the depth
estimation task on an indoor NYUV2 dataset and an outdoor KITTI dataset. We
propose a novel attention-based architecture, Depthformer for monocular depth
estimation that uses multi-head self-attention to produce the multiscale
feature maps, which are effectively combined by our proposed decoder network.
We also propose a Transbins module that divides the depth range into bins whose
center value is estimated adaptively per image. The final depth estimated is a
linear combination of bin centers for each pixel. Transbins module takes
advantage of the global receptive field using the transformer module in the
encoding stage. Experimental results on NYUV2 and KITTI depth estimation
benchmark demonstrate that our proposed method improves the state-of-the-art by
3.3%, and 3.3% respectively in terms of Root Mean Squared Error (RMSE). Code is
available at https://github.com/ashutosh1807/Depthformer.git.
- Abstract（参考訳）: トランスフォーマなどの注意に基づくモデルは、画像の長距離依存性を捉える能力から、セマンティックセグメンテーションのような密集した予測タスクにおいて優れた性能を示している。
しかし,単眼深度予測における変圧器の利点は,これまでほとんど解明されていない。
本稿では,屋内のNYUV2データセットと屋外のKITTIデータセットの深度推定のためのトランスフォーマーベースモデルをベンチマークする。
本稿では,提案するデコーダネットワークと組み合わさったマルチスケール特徴マップを作成するために,マルチヘッドセルフアテンションを用いた単眼深度推定のための新しいアテンションベースアーキテクチャである depthformer を提案する。
また、画像毎に中心値が適応的に推定されるビンに深さ範囲を分割するトランスビンスモジュールを提案する。
最後の深さは各ピクセルのビン中心の線形結合である。
Transbinsモジュールは、エンコーディングステージにおけるTransformerモジュールを使用して、グローバルな受信フィールドを利用する。
NYUV2 と KITTI の深さ推定ベンチマークによる実験結果から,提案手法はルート平均正方形誤差(RMSE)においてそれぞれ3.3%,3.3%改善することが示された。
コードはhttps://github.com/ashutosh1807/Depthformer.gitで入手できる。
関連論文リスト
- Self-supervised Monocular Depth Estimation with Large Kernel Attention [30.44895226042849]
より詳細な情報を得るために,自己教師付き単眼深度推定ネットワークを提案する。
具体的には,長距離依存性をモデル化可能なカーネルアテンションに基づくデコーダを提案する。
提案手法は,KITTIデータセット上での競合結果を実現する。
論文 参考訳（メタデータ） (2024-09-26T14:44:41Z) - NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth
Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。
セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。
結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-02-22T11:48:06Z) - Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative
Convolution Network [80.19054069988559]
自己教師付き単眼深度推定は, 方向感度と環境依存性を示す。
本稿では2つの側面において深度表現を改善する方向対応累積畳み込みネットワーク(DaCCN)を提案する。
実験の結果,提案手法は広く使用されている3つのベンチマークにおいて大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-08-10T14:32:18Z) - SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via
Swin Transformer and Densely Cascaded Network [29.798579906253696]
教師付きトレーニングのための深層地下深度ラベルの取得は困難であり,単分子配列を用いた教師なし深度推定が有望な代替手段として出現する。
本稿では,画像特徴抽出器としてコンボリューションフリーのSwin Transformerを用い,局所的幾何学的特徴と大域的意味的特徴の両方を網羅して深度推定を行う。
また,Densely Cascaded Multi-scale Network (DCMNet)を提案する。
論文 参考訳（メタデータ） (2023-01-17T06:01:46Z) - Hybrid Transformer Based Feature Fusion for Self-Supervised Monocular
Depth Estimation [33.018300966769516]
アートのほとんどの状態(SOTA)は、与えられた入力画像から不均一マップを予測するために、自己監督的かつ教師なしの領域で機能する。
我々のモデルは、2つの完全畳み込み深度エンコーダを用いて学習した画素ごとの局所情報と、トランスフォーマーエンコーダによって異なるスケールで学習されたグローバルな文脈情報とを融合させる。
これは、ほとんどの標準ベンチマークで最先端のパフォーマンスを達成するために、機能領域におけるマスク誘導マルチストリームの畳み込みを使用する。
論文 参考訳（メタデータ） (2022-11-20T20:00:21Z) - HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。
360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-04-11T11:11:43Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳（メタデータ） (2022-03-27T05:03:56Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。
ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。
異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
論文 参考訳（メタデータ） (2021-08-19T11:33:58Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。