論文の概要: Self-supervised Monocular Trained Depth Estimation using Self-attention
and Discrete Disparity Volume
- arxiv url: http://arxiv.org/abs/2003.13951v1
- Date: Tue, 31 Mar 2020 04:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 00:21:22.232254
- Title: Self-supervised Monocular Trained Depth Estimation using Self-attention
and Discrete Disparity Volume
- Title（参考訳）: 自己注意と離散差容積を用いた自己教師付き単眼訓練深度推定
- Authors: Adrian Johnston and Gustavo Carneiro
- Abstract要約: 本研究では,1)自己注意,2)離散的不一致予測という,自己教師付き単分子学習深度推定を改善するための2つの新しいアイデアを提案する。
これらの2つのアイデアにより、最先端の自己教師型単分子深度推定器 Monodepth2 の拡張により、KITTI 2015 と Make3D の分野で最高の結果を生み出すモデルを設計できることを示す。
- 参考スコア（独自算出の注目度）: 19.785343302320918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular depth estimation has become one of the most studied applications in
computer vision, where the most accurate approaches are based on fully
supervised learning models. However, the acquisition of accurate and large
ground truth data sets to model these fully supervised methods is a major
challenge for the further development of the area. Self-supervised methods
trained with monocular videos constitute one the most promising approaches to
mitigate the challenge mentioned above due to the wide-spread availability of
training data. Consequently, they have been intensively studied, where the main
ideas explored consist of different types of model architectures, loss
functions, and occlusion masks to address non-rigid motion. In this paper, we
propose two new ideas to improve self-supervised monocular trained depth
estimation: 1) self-attention, and 2) discrete disparity prediction. Compared
with the usual localised convolution operation, self-attention can explore a
more general contextual information that allows the inference of similar
disparity values at non-contiguous regions of the image. Discrete disparity
prediction has been shown by fully supervised methods to provide a more robust
and sharper depth estimation than the more common continuous disparity
prediction, besides enabling the estimation of depth uncertainty. We show that
the extension of the state-of-the-art self-supervised monocular trained depth
estimator Monodepth2 with these two ideas allows us to design a model that
produces the best results in the field in KITTI 2015 and Make3D, closing the
gap with respect self-supervised stereo training and fully supervised
approaches.
- Abstract（参考訳）: 単眼深度推定はコンピュータビジョンにおいて最も研究されている応用の1つとなり、最も正確なアプローチは完全な教師付き学習モデルに基づいている。
しかし、これらの完全教師付き手法をモデル化するための正確で大規模な真実データセットの取得は、この分野のさらなる発展の大きな課題である。
単眼ビデオで訓練された自己監督的手法は、トレーニングデータの広範に利用可能なため、上記の課題を軽減する最も有望なアプローチの一つである。
その結果、それらは集中的に研究され、その主なアイデアは異なる種類のモデルアーキテクチャ、損失関数、および非剛性運動に対処するためのオクルージョンマスクから成っている。
本稿では,自己教師付き単眼訓練深度推定を改善するための2つの新しいアイデアを提案する。
1)自尊心,及び
2)離散的格差予測。
通常の局所畳み込み操作と比較して、セルフアテンションは画像の非連続領域における類似した不一致値の推論を可能にするより一般的な文脈情報を調べることができる。
離散的な不均一性予測は、より一般的な連続的な不確実性予測よりも頑健でシャープな深度推定を提供するために、完全に教師された手法によって示されてきた。
これらの2つのアイデアにより、最先端の自己教師型単分子深度推定器 Monodepth2 の拡張により、KITTI 2015 と Make3D の分野で最高の結果をもたらすモデルを設計でき、自己教師型ステレオトレーニングと完全教師型アプローチでギャップを埋めることができることを示す。
関連論文リスト
- Consistency Regularisation for Unsupervised Domain Adaptation in Monocular Depth Estimation [15.285720572043678]
整合性に基づく半教師付き学習問題として,単眼深度推定のための教師なし領域適応を定式化する。
複数の拡張ビューにまたがって一貫性を保ちながら、ソースドメイン上の予測を規則化するペアワイズ損失関数を導入する。
実験では, KITTI と NYUv2 の標準深度推定ベンチマークを用いて,最先端の結果を示す。
論文 参考訳（メタデータ） (2024-05-27T23:32:06Z) - Sparse Depth-Guided Attention for Accurate Depth Completion: A
Stereo-Assisted Monitored Distillation Approach [7.902840502973506]
本研究では,教師モデルとしてステレオモデルを導入し,学生モデルの深度補修精度を向上させる。
自己教師型情報提供には,多視点奥行きの整合性やマルチスケールの最小再計画も活用する。
論文 参考訳（メタデータ） (2023-03-28T09:23:19Z) - Self-Supervised Monocular Depth Estimation with Self-Reference
Distillation and Disparity Offset Refinement [15.012694052674899]
自己教師付き単分子深度推定を改善するための2つの新しいアイデアを提案する。
我々は,教師が訓練の時期に合わせて更新したパラメータ最適化モデルを用いて,さらなる指導を行う。
我々は,高次特徴量と低次特徴量とのコンテキスト整合性を利用して,マルチスケールの相違オフセットを得る。
論文 参考訳（メタデータ） (2023-02-20T06:28:52Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Image Masking for Robust Self-Supervised Monocular Depth Estimation [12.435468563991174]
自己教師付き単眼深度推定は3次元シーン理解のための健全なタスクである。
自己教師付き単眼深度推定にマスク付き画像モデリングを適用するMIMDepthを提案する。
論文 参考訳（メタデータ） (2022-10-05T15:57:53Z) - Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation [88.8963330073454]
自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。
ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。
提案する自己超越法は,合成データに依存する他の方法よりも優れている。
論文 参考訳（メタデータ） (2022-03-19T15:12:06Z) - Pseudo Supervised Monocular Depth Estimation with Teacher-Student
Network [90.20878165546361]
疑似監視機構に基づく新しい教師なし深度推定手法を提案する。
これは、教師なしおよび教師なしの単分子深度推定の利点を戦略的に統合する。
実験の結果,提案手法はKITTIベンチマークの最先端性よりも優れていた。
論文 参考訳（メタデータ） (2021-10-22T01:08:36Z) - Excavating the Potential Capacity of Self-Supervised Monocular Depth
Estimation [10.620856690388376]
自己教師付き単眼深度推定の潜在能力は,このコストを増大させることなく発掘できることが示唆された。
私たちのコントリビューションは、計算オーバーヘッドを減らしながら、ベースラインに大幅なパフォーマンス改善をもたらすことができます。
我々のモデルはEPCDepthと呼ばれ、従来の最先端の手法を超越している。
論文 参考訳（メタデータ） (2021-09-26T03:40:56Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳（メタデータ） (2021-05-25T02:17:56Z) - How Well Do Self-Supervised Models Transfer? [92.16372657233394]
我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。
ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。
全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
論文 参考訳（メタデータ） (2020-11-26T16:38:39Z) - On the uncertainty of self-supervised monocular depth estimation [52.13311094743952]
単眼深度推定のための自己監督的パラダイムは、基礎的な真理アノテーションを全く必要としないため、非常に魅力的である。
我々は,このタスクの不確かさを推定する方法と,これが深さ精度にどのように影響するかを初めて検討する。
自己教師型アプローチに特化して設計された,斬新な手法を提案する。
論文 参考訳（メタデータ） (2020-05-13T09:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。