論文の概要: Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene
Understanding via Domain Adaptation
- arxiv url: http://arxiv.org/abs/2012.05304v1
- Date: Wed, 9 Dec 2020 20:38:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 01:59:36.537557
- Title: Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene
Understanding via Domain Adaptation
- Title（参考訳）: ドメイン適応によるリアルタイムフォギーシーン理解のためのマルチタスク学習のための競争的単純性
- Authors: Naif Alshammari, Samet Akcay, and Toby P. Breckon
- Abstract要約: 霧の多い気象条件下で,リアルタイムのセマンティックシーン理解と単眼深度推定が可能なマルチタスク学習手法を提案する。
我々のモデルはRGB色、深度、輝度の画像を密接な接続性を持つ異なるエンコーダで表現する。
- 参考スコア（独自算出の注目度）: 17.530091734327296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automotive scene understanding under adverse weather conditions raises a
realistic and challenging problem attributable to poor outdoor scene visibility
(e.g. foggy weather). However, because most contemporary scene understanding
approaches are applied under ideal-weather conditions, such approaches may not
provide genuinely optimal performance when compared to established a priori
insights on extreme-weather understanding. In this paper, we propose a complex
but competitive multi-task learning approach capable of performing in real-time
semantic scene understanding and monocular depth estimation under foggy weather
conditions by leveraging both recent advances in adversarial training and
domain adaptation. As an end-to-end pipeline, our model provides a novel
solution to surpass degraded visibility in foggy weather conditions by
transferring scenes from foggy to normal using a GAN-based model. For optimal
performance in semantic segmentation, our model generates depth to be used as
complementary source information with RGB in the segmentation network. We
provide a robust method for foggy scene understanding by training two models
(normal and foggy) simultaneously with shared weights (each model is trained on
each weather condition independently). Our model incorporates RGB colour,
depth, and luminance images via distinct encoders with dense connectivity and
features fusing, and leverages skip connections to produce consistent depth and
segmentation predictions. Using this architectural formulation with light
computational complexity at inference time, we are able to achieve comparable
performance to contemporary approaches at a fraction of the overall model
complexity.
- Abstract（参考訳）: 悪天候条件下での自動車のシーン理解は、屋外のシーンの視界が悪くなることに起因する現実的で困難な問題を引き起こす。
霧の天気)。
しかし、ほとんどの現代のシーン理解アプローチは理想ウェザー条件下で適用されるため、極ウェザー理解に関する先駆的な洞察が確立された場合と比較して、そのようなアプローチは真に最適な性能を提供することはできない。
本稿では,近年の対向訓練とドメイン適応の進歩を活かし,霧の気候条件下でのリアルタイム意味理解と単眼深度推定を可能にする,複雑かつ競争性の高いマルチタスク学習手法を提案する。
エンド・ツー・エンドのパイプラインとして,ganモデルを用いて霧から正常に場面を移し,霧の気象条件における劣化した視認性を超える新しいソリューションを提供する。
セグメンテーションにおける最適性能のために,セグメンテーションネットワークにおけるRGBと相補的なソース情報として使用する深度を生成する。
2つのモデル(正常および霧)と共有重みを同時に訓練することにより、霧シーン理解のためのロバストな方法を提供する(各モデルは各気象条件で独立に訓練される)。
提案モデルでは,RGB色,深度,輝度を密接な接続と機能を有するエンコーダで表現し,スイッチ接続を利用して一貫した深度とセグメンテーション予測を行う。
このアーキテクチャの定式化と推論時の軽量な計算複雑性を用いることで、モデル全体の複雑さのごく一部で、現代の手法に匹敵する性能を達成できる。
関連論文リスト
- WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
第1次一般気象基礎モデル(WeatherGFM)を紹介する。
気象理解タスクの幅広い範囲を統一的な方法で解決する。
我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
論文 参考訳（メタデータ） (2024-11-08T09:14:19Z) - DepthFM: Fast Monocular Depth Estimation with Flow Matching [22.206355073676082]
この問題に対する現在の差別的アプローチは、ぼやけた人工物のために限られている。
最先端の生成法は、SDEの性質上、サンプリングが遅い。
解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。
論文 参考訳（メタデータ） (2024-03-20T17:51:53Z) - WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
論文 参考訳（メタデータ） (2023-10-09T09:26:27Z) - Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。
我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
論文 参考訳（メタデータ） (2023-08-18T17:59:01Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳（メタデータ） (2022-04-21T14:40:32Z) - Numerical Weather Forecasting using Convolutional-LSTM with Attention
and Context Matcher Mechanisms [10.759556555869798]
本稿では,高解像度気象データを予測するための新しいディープラーニングアーキテクチャを提案する。
我々の気象モデルは,ベースラインの深層学習モデルと比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2021-02-01T08:30:42Z) - Multi-Model Learning for Real-Time Automotive Semantic Foggy Scene
Understanding via Domain Adaptation [17.530091734327296]
本研究では,霧の多い気象条件にロバストな自動車意味理解手法を提案する。
提案手法では,RGB色,深度,輝度の画像を密接な接続性を持つ異なるエンコーダに組み込む。
我々のモデルは、モデル全体の複雑さのごく一部で、現代のアプローチに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2020-12-09T21:04:05Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳（メタデータ） (2020-08-06T08:23:19Z) - DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised
Representation Learning [65.94499390875046]
DeFeat-Netは、クロスドメインの高密度な特徴表現を同時に学習するアプローチである。
提案手法は, 誤差対策を全て10%程度減らすことで, 最先端技術よりも優れる。
論文 参考訳（メタデータ） (2020-03-30T13:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。