論文の概要: Doubly Contrastive End-to-End Semantic Segmentation for Autonomous
Driving under Adverse Weather
- arxiv url: http://arxiv.org/abs/2211.11131v1
- Date: Mon, 21 Nov 2022 00:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 20:31:47.545205
- Title: Doubly Contrastive End-to-End Semantic Segmentation for Autonomous
Driving under Adverse Weather
- Title（参考訳）: 悪天候下での自律運転における両立するエンド・ツー・エンドセグメンテーション
- Authors: Jongoh Jeong and Jong-Hwan Kim
- Abstract要約: 本稿では,より実用性の高い自動運転モデルの性能向上のための2つの対照的なアプローチを提案する。
提案手法は,エンドツーエンドの教師あり学習方式において,画像レベルのコントラストと画素レベルのコントラストを利用する。
我々は,画像レベルの監督を自己監督に置き換えることで,晴れた気象画像で事前訓練した場合に同等の性能を達成できることを実証した。
- 参考スコア（独自算出の注目度）: 6.808112517338073
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Road scene understanding tasks have recently become crucial for self-driving
vehicles. In particular, real-time semantic segmentation is indispensable for
intelligent self-driving agents to recognize roadside objects in the driving
area. As prior research works have primarily sought to improve the segmentation
performance with computationally heavy operations, they require far significant
hardware resources for both training and deployment, and thus are not suitable
for real-time applications. As such, we propose a doubly contrastive approach
to improve the performance of a more practical lightweight model for
self-driving, specifically under adverse weather conditions such as fog,
nighttime, rain and snow. Our proposed approach exploits both image- and
pixel-level contrasts in an end-to-end supervised learning scheme without
requiring a memory bank for global consistency or the pretraining step used in
conventional contrastive methods. We validate the effectiveness of our method
using SwiftNet on the ACDC dataset, where it achieves up to 1.34%p improvement
in mIoU (ResNet-18 backbone) at 66.7 FPS (2048x1024 resolution) on a single RTX
3080 Mobile GPU at inference. Furthermore, we demonstrate that replacing
image-level supervision with self-supervision achieves comparable performance
when pre-trained with clear weather images.
- Abstract（参考訳）: 道路シーン理解タスクは、最近自動運転車にとって重要になっている。
特に、リアルタイムセマンティクスセグメンテーションは、インテリジェントな自動運転エージェントが運転領域の道端の物体を認識するために不可欠である。
従来の研究は主に計算量の多い操作でセグメンテーション性能を向上させることを目的としているため、トレーニングとデプロイメントの両方に非常に重要なハードウェアリソースが必要であり、そのためリアルタイムアプリケーションには適していない。
そこで本研究では,霧,夜間,雨,雪などの悪天候下で,より実用的な軽量な自動運転モデルの性能向上のための2つの対照的なアプローチを提案する。
提案手法は,グローバルな一貫性のためにメモリバンクを必要とせず,従来のコントラスト法で使用される事前学習ステップを必要とせず,画像レベルのコントラストと画素レベルのコントラストを利用する。
ACDCデータセット上でSwiftNetを用いた手法の有効性を検証する。単一のRTX 3080 Mobile GPU上で,mIoU(ResNet-18バックボーン)を66.7 FPS(2048x1024解像度)で最大1.34%改善する。
さらに,画像レベルの監視を自己スーパービジョンに置き換えることで,クリアな気象画像で事前学習した場合と同等の性能が得られることを示す。
関連論文リスト
- Cross-Camera Distracted Driver Classification through Feature Disentanglement and Contrastive Learning [13.613407983544427]
車両内のカメラ位置の変化に耐えられるような頑健なモデルを導入する。
我々のドライバ行動監視ネットワーク(DBMNet)は軽量なバックボーンに依存し、アンタングルメントモジュールを統合する。
100-Driverデータセットの夜間および夜間のサブセットで行った実験は、我々のアプローチの有効性を検証した。
論文 参考訳（メタデータ） (2024-11-20T10:27:12Z) - An Efficient Approach to Generate Safe Drivable Space by LiDAR-Camera-HDmap Fusion [13.451123257796972]
ドライビング可能な空間抽出のための自律走行車(AV)のための高精度で堅牢な認識モジュールを提案する。
我々の研究は、LiDAR、カメラ、HDマップデータ融合を利用した、堅牢で汎用的な知覚モジュールを導入している。
我々のアプローチは実際のデータセットでテストされ、その信頼性は、私たちの自律シャトルであるWATonoBusの日々の(厳しい雪の天候を含む)運用中に検証されます。
論文 参考訳（メタデータ） (2024-10-29T17:54:02Z) - Homography Guided Temporal Fusion for Road Line and Marking Segmentation [73.47092021519245]
道路線やマーキングは、移動車両、影、グレアの存在下でしばしば閉鎖される。
本稿では,映像フレームを補足的に利用するHomography Guided Fusion (HomoFusion) モジュールを提案する。
カメラ固有のデータと地上平面の仮定をクロスフレーム対応に利用することにより,高速・高精度性能が向上した軽量ネットワークの実現が期待できることを示す。
論文 参考訳（メタデータ） (2024-04-11T10:26:40Z) - Penalty-Based Imitation Learning With Cross Semantics Generation Sensor
Fusion for Autonomous Driving [1.2749527861829049]
本稿では,複数の情報モダリティを統合するために,ペナルティに基づく模倣学習手法を提案する。
最新技術(SOTA)モデルであるInterFuserと比較して,運転スコアが12%以上増加していることが観察された。
本モデルでは, 推論速度を7倍に向上し, モデルサイズを約30%削減しながら, この性能向上を実現している。
論文 参考訳（メタデータ） (2023-03-21T14:29:52Z) - Policy Pre-training for End-to-end Autonomous Driving via
Self-supervised Geometric Modeling [96.31941517446859]
PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。
本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。
第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。
第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
論文 参考訳（メタデータ） (2023-01-03T08:52:49Z) - Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。
実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
論文 参考訳（メタデータ） (2022-07-05T16:33:20Z) - Real Time Monocular Vehicle Velocity Estimation using Synthetic Data [78.85123603488664]
移動車に搭載されたカメラから車両の速度を推定する問題を考察する。
そこで本研究では,まずオフ・ザ・シェルフ・トラッカーを用いて車両バウンディングボックスを抽出し,その後,小型ニューラルネットワークを用いて車両速度を回帰する2段階のアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-16T13:10:27Z) - Real-time Streaming Perception System for Autonomous Driving [2.6058660721533187]
本稿では,ストリーミング知覚チャレンジの第2位であるリアルタイム蒸気知覚システムについて述べる。
絶対的なパフォーマンスに重点を置いている従来のオブジェクト検出の課題とは異なり、ストリーミング認識タスクは精度とレイテンシのバランスを取る必要がある。
Argoverse-HDテストセットでは,必要なハードウェアで33.2ストリーミングAP(オーガナイザが検証した34.6ストリーミングAP)を実現する。
論文 参考訳（メタデータ） (2021-07-30T01:32:44Z) - Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。
本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
論文 参考訳（メタデータ） (2021-04-19T11:48:13Z) - Self-Supervised Pillar Motion Learning for Autonomous Driving [10.921208239968827]
本研究では,点群からの自由監視信号と対カメラ画像を利用した学習フレームワークを提案する。
本モデルでは,確率的運動マスキングを付加した点雲に基づく構造整合性と,所望の自己超越を実現するためのクロスセンサ運動正規化を含む。
論文 参考訳（メタデータ） (2021-04-18T02:32:08Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳（メタデータ） (2020-06-04T08:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。