論文の概要: Self-supervised Monocular Depth Estimation: Let's Talk About The Weather
- arxiv url: http://arxiv.org/abs/2307.08357v1
- Date: Mon, 17 Jul 2023 09:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 13:53:54.934583
- Title: Self-supervised Monocular Depth Estimation: Let's Talk About The Weather
- Title（参考訳）: 自己監督型単分子深度推定:天気について話そう
- Authors: Kieran Saunders, George Vogiatzis and Luis Manso
- Abstract要約: 現在の自己監督型深度推定アーキテクチャは、深層ニューラルネットワークをトレーニングするために、晴れた晴れた天気のシーンに依存している。
本稿では,この問題を解決するために拡張を用いた手法を提案する。
我々は,提案手法であるRobust-Depthが,KITTIデータセット上でSotA性能を達成することを示すため,広範囲なテストを行う。
- 参考スコア（独自算出の注目度）: 2.836066255205732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current, self-supervised depth estimation architectures rely on clear and
sunny weather scenes to train deep neural networks. However, in many locations,
this assumption is too strong. For example in the UK (2021), 149 days consisted
of rain. For these architectures to be effective in real-world applications, we
must create models that can generalise to all weather conditions, times of the
day and image qualities. Using a combination of computer graphics and
generative models, one can augment existing sunny-weather data in a variety of
ways that simulate adverse weather effects. While it is tempting to use such
data augmentations for self-supervised depth, in the past this was shown to
degrade performance instead of improving it. In this paper, we put forward a
method that uses augmentations to remedy this problem. By exploiting the
correspondence between unaugmented and augmented data we introduce a
pseudo-supervised loss for both depth and pose estimation. This brings back
some of the benefits of supervised learning while still not requiring any
labels. We also make a series of practical recommendations which collectively
offer a reliable, efficient framework for weather-related augmentation of
self-supervised depth from monocular video. We present extensive testing to
show that our method, Robust-Depth, achieves SotA performance on the KITTI
dataset while significantly surpassing SotA on challenging, adverse condition
data such as DrivingStereo, Foggy CityScape and NuScenes-Night. The project
website can be found here https://kieran514.github.io/Robust-Depth-Project/.
- Abstract（参考訳）: 現在の自己監督型深度推定アーキテクチャは、深層ニューラルネットワークをトレーニングするために、晴れた晴れた天気のシーンに依存している。
しかし、多くの場所では、この仮定は強すぎる。
例えばイギリス(2021年)では、149日が雨であった。
これらのアーキテクチャが現実世界の応用に有効であるためには、すべての気象条件、日時、画質を一般化できるモデルを作成しなければならない。
コンピュータグラフィックスと生成モデルを組み合わせて、悪天候効果をシミュレートする様々な方法で、既存の日当たり天気データを増強することができる。
このようなデータ拡張を自己監督的な深さに使用するのは魅力的だが、過去には、改善ではなくパフォーマンスの低下が示されていた。
本稿では,この問題を解決するために拡張を用いた手法を提案する。
未知データと拡張データとの対応を利用して、深度とポーズ推定の両方において擬似教師付き損失を導入する。
これにより、教師あり学習の利点を取り戻せるが、ラベルは必要としない。
また,単眼映像からの自己監督深度を天気関連で拡張するための信頼性が高く,効率的な枠組みを提供する,一連の実践的勧告も行った。
我々は,提案手法であるRobust-Depthを用いて,KITTIデータセット上でのSotA性能が,DrivingStereo, Foggy CityScape, NuScenes-Nightなどの困難で有害なデータに対して,SotAを大幅に上回っていることを示す。
プロジェクトのWebサイトは、https://kieran514.github.io/Robust-Depth-Project/にある。
関連論文リスト
- Robust ADAS: Enhancing Robustness of Machine Learning-based Advanced Driver Assistance Systems for Adverse Weather [5.383130566626935]
本稿では,デノイングディープニューラルネットワークを前処理ステップとして,悪天候画像から晴天画像へ変換する。
ドライバーの視認性が向上し、悪天候下での安全なナビゲーションに欠かせない。
論文 参考訳（メタデータ） (2024-07-02T18:03:52Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
論文 参考訳（メタデータ） (2023-10-09T09:26:27Z) - Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。
我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
論文 参考訳（メタデータ） (2023-08-18T17:59:01Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-02T00:00:09Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳（メタデータ） (2021-11-29T18:57:09Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳（メタデータ） (2021-07-14T21:10:47Z) - Robustness of Object Detectors in Degrading Weather Conditions [7.91378990016322]
自律走行のための最先端の物体検出システムは、晴天条件下で有望な結果を達成する。
これらのシステムは、雨や霧、雪などの気象条件の悪化に対処する必要がある。
ほとんどのアプローチは、晴天のシーンのみからなるKITTIデータセットでのみ評価される。
論文 参考訳（メタデータ） (2021-06-16T13:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。