論文の概要: Dusk Till Dawn: Self-supervised Nighttime Stereo Depth Estimation using Visual Foundation Models
- arxiv url: http://arxiv.org/abs/2405.11158v1
- Date: Sat, 18 May 2024 03:07:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 19:07:29.627058
- Title: Dusk Till Dawn: Self-supervised Nighttime Stereo Depth Estimation using Visual Foundation Models
- Title（参考訳）: Dusk Till Dawn:ビジュアルファンデーションモデルを用いた自己教師型夜間ステレオ深度推定
- Authors: Madhu Vankadari, Samuel Hodgson, Sangyun Shin, Kaichen Zhou Andrew Markham, Niki Trigoni,
- Abstract要約: 自己教師付き深さ推定アルゴリズムはフレームウォーピング関係に大きく依存する。
夜間に焦点をあてた自己教師型ステレオ深度推定を行うアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 16.792458193160407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised depth estimation algorithms rely heavily on frame-warping relationships, exhibiting substantial performance degradation when applied in challenging circumstances, such as low-visibility and nighttime scenarios with varying illumination conditions. Addressing this challenge, we introduce an algorithm designed to achieve accurate self-supervised stereo depth estimation focusing on nighttime conditions. Specifically, we use pretrained visual foundation models to extract generalised features across challenging scenes and present an efficient method for matching and integrating these features from stereo frames. Moreover, to prevent pixels violating photometric consistency assumption from negatively affecting the depth predictions, we propose a novel masking approach designed to filter out such pixels. Lastly, addressing weaknesses in the evaluation of current depth estimation algorithms, we present novel evaluation metrics. Our experiments, conducted on challenging datasets including Oxford RobotCar and Multi-Spectral Stereo, demonstrate the robust improvements realized by our approach. Code is available at: https://github.com/madhubabuv/dtd
- Abstract（参考訳）: 自己監督深度推定アルゴリズムはフレームワープ関係に大きく依存しており、照度条件の異なる低視認性シナリオや夜間シナリオなど、困難な状況に適用した場合に顕著な性能劣化を示す。
この課題に対処するため,夜間に焦点をあてた自己教師型ステレオ深度推定を行うアルゴリズムを提案する。
具体的には、事前学習された視覚基盤モデルを用いて、難易度の高いシーンにまたがる一般化された特徴を抽出し、これらの特徴をステレオフレームからマッチングし、統合する効率的な方法を提案する。
さらに,光度整合性仮定に違反する画素が奥行き予測に悪影響を及ぼすのを防止するために,そのような画素をフィルタリングする新しいマスキング手法を提案する。
最後に、現在の深さ推定アルゴリズムの評価における弱点に対処し、新しい評価指標を提案する。
Oxford RobotCarやMulti-Spectral Stereoといった挑戦的なデータセットを用いて,本手法が実現した堅牢な改善を実証した。
コードは、https://github.com/madhubabuv/dtdで入手できる。
関連論文リスト
- D$^3$epth: Self-Supervised Depth Estimation with Dynamic Mask in Dynamic Scenes [23.731667977542454]
D$3$epthは動的シーンにおける自己教師付き深度推定の新しい手法である。
これは2つの重要な視点から、動的オブジェクトの課題に取り組む。
既存の自己教師付き単分子深度推定ベースラインよりも一貫して優れています。
論文 参考訳（メタデータ） (2024-11-07T16:07:00Z) - Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。
照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。
提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2024-11-06T03:30:46Z) - Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。
画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。
局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
論文 参考訳（メタデータ） (2024-02-14T04:07:44Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳（メタデータ） (2022-08-26T13:04:01Z) - Gated2Gated: Self-Supervised Depth Estimation from Gated Images [22.415893281441928]
ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。
そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
論文 参考訳（メタデータ） (2021-12-04T19:47:38Z) - Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular
Depth Estimation in the Dark [20.66405067066299]
未ペア深度マップから分布知識を学習するために,プリエントベース正規化を導入する。
また、画像の可視性とコントラストを高めるために、マッピング一貫性画像強調モジュールを活用している。
筆者らのフレームワークは,2つの夜間データセットに対して,顕著な改善と最先端の結果を達成している。
論文 参考訳（メタデータ） (2021-08-09T06:24:35Z) - Unsupervised Monocular Depth Estimation in Highly Complex Environments [9.580317751486636]
教師なし単分子深度推定法は主に日中のシナリオに焦点を当てる。
夜、雨の夜、または雪の冬など、いくつかの困難な環境では、異なるフレーム上の同じピクセルの光度測定は相容れない。
本稿では、ドメイン適応を用いてこの問題に対処し、画像転送に基づく一貫した適応フレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-28T02:35:38Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳（メタデータ） (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。