論文の概要: Doubly Contrastive End-to-End Semantic Segmentation for Autonomous
Driving under Adverse Weather
- arxiv url: http://arxiv.org/abs/2211.11131v1
- Date: Mon, 21 Nov 2022 00:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 20:31:47.545205
- Title: Doubly Contrastive End-to-End Semantic Segmentation for Autonomous
Driving under Adverse Weather
- Title(参考訳): 悪天候下での自律運転における両立するエンド・ツー・エンドセグメンテーション
- Authors: Jongoh Jeong and Jong-Hwan Kim
- Abstract要約: 本稿では,より実用性の高い自動運転モデルの性能向上のための2つの対照的なアプローチを提案する。
提案手法は,エンドツーエンドの教師あり学習方式において,画像レベルのコントラストと画素レベルのコントラストを利用する。
我々は,画像レベルの監督を自己監督に置き換えることで,晴れた気象画像で事前訓練した場合に同等の性能を達成できることを実証した。
- 参考スコア(独自算出の注目度): 6.808112517338073
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Road scene understanding tasks have recently become crucial for self-driving
vehicles. In particular, real-time semantic segmentation is indispensable for
intelligent self-driving agents to recognize roadside objects in the driving
area. As prior research works have primarily sought to improve the segmentation
performance with computationally heavy operations, they require far significant
hardware resources for both training and deployment, and thus are not suitable
for real-time applications. As such, we propose a doubly contrastive approach
to improve the performance of a more practical lightweight model for
self-driving, specifically under adverse weather conditions such as fog,
nighttime, rain and snow. Our proposed approach exploits both image- and
pixel-level contrasts in an end-to-end supervised learning scheme without
requiring a memory bank for global consistency or the pretraining step used in
conventional contrastive methods. We validate the effectiveness of our method
using SwiftNet on the ACDC dataset, where it achieves up to 1.34%p improvement
in mIoU (ResNet-18 backbone) at 66.7 FPS (2048x1024 resolution) on a single RTX
3080 Mobile GPU at inference. Furthermore, we demonstrate that replacing
image-level supervision with self-supervision achieves comparable performance
when pre-trained with clear weather images.
- Abstract(参考訳): 道路シーン理解タスクは、最近自動運転車にとって重要になっている。
特に、リアルタイムセマンティクスセグメンテーションは、インテリジェントな自動運転エージェントが運転領域の道端の物体を認識するために不可欠である。
従来の研究は主に計算量の多い操作でセグメンテーション性能を向上させることを目的としているため、トレーニングとデプロイメントの両方に非常に重要なハードウェアリソースが必要であり、そのためリアルタイムアプリケーションには適していない。
そこで本研究では,霧,夜間,雨,雪などの悪天候下で,より実用的な軽量な自動運転モデルの性能向上のための2つの対照的なアプローチを提案する。
提案手法は,グローバルな一貫性のためにメモリバンクを必要とせず,従来のコントラスト法で使用される事前学習ステップを必要とせず,画像レベルのコントラストと画素レベルのコントラストを利用する。
ACDCデータセット上でSwiftNetを用いた手法の有効性を検証する。単一のRTX 3080 Mobile GPU上で,mIoU(ResNet-18バックボーン)を66.7 FPS(2048x1024解像度)で最大1.34%改善する。
さらに,画像レベルの監視を自己スーパービジョンに置き換えることで,クリアな気象画像で事前学習した場合と同等の性能が得られることを示す。
関連論文リスト
- Real-time Traffic Object Detection for Autonomous Driving [5.780326596446099]
現代のコンピュータビジョン技術は、効率よりも精度を優先する傾向がある。
既存の物体検出器はリアルタイムには程遠い。
リアルタイム要件を取り入れた,より適切な代替案を提案する。
論文 参考訳(メタデータ) (2024-01-31T19:12:56Z) - Penalty-Based Imitation Learning With Cross Semantics Generation Sensor
Fusion for Autonomous Driving [1.2749527861829049]
本稿では,複数の情報モダリティを統合するために,ペナルティに基づく模倣学習手法を提案する。
最新技術(SOTA)モデルであるInterFuserと比較して,運転スコアが12%以上増加していることが観察された。
本モデルでは, 推論速度を7倍に向上し, モデルサイズを約30%削減しながら, この性能向上を実現している。
論文 参考訳(メタデータ) (2023-03-21T14:29:52Z) - Policy Pre-training for End-to-end Autonomous Driving via
Self-supervised Geometric Modeling [96.31941517446859]
PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。
本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。
第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。
第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
論文 参考訳(メタデータ) (2023-01-03T08:52:49Z) - YOLOPv2: Better, Faster, Stronger for Panoptic Driving Perception [1.6683976936678229]
マルチタスク学習アプローチは、単眼駆動認識問題の解法において有望な結果を得た。
本稿では,交通物体検出,ドライビング可能な道路領域分割,車線検出のタスクを同時に行うために,効果的かつ効率的なマルチタスク学習ネットワークを提案する。
我々のモデルは、BDD100Kデータセットの精度とスピードの観点から、新しい最先端(SOTA)パフォーマンスを実現しました。
論文 参考訳(メタデータ) (2022-08-24T11:00:27Z) - Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。
実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
論文 参考訳(メタデータ) (2022-07-05T16:33:20Z) - Real Time Monocular Vehicle Velocity Estimation using Synthetic Data [78.85123603488664]
移動車に搭載されたカメラから車両の速度を推定する問題を考察する。
そこで本研究では,まずオフ・ザ・シェルフ・トラッカーを用いて車両バウンディングボックスを抽出し,その後,小型ニューラルネットワークを用いて車両速度を回帰する2段階のアプローチを提案する。
論文 参考訳(メタデータ) (2021-09-16T13:10:27Z) - Real-time Streaming Perception System for Autonomous Driving [2.6058660721533187]
本稿では,ストリーミング知覚チャレンジの第2位であるリアルタイム蒸気知覚システムについて述べる。
絶対的なパフォーマンスに重点を置いている従来のオブジェクト検出の課題とは異なり、ストリーミング認識タスクは精度とレイテンシのバランスを取る必要がある。
Argoverse-HDテストセットでは,必要なハードウェアで33.2ストリーミングAP(オーガナイザが検証した34.6ストリーミングAP)を実現する。
論文 参考訳(メタデータ) (2021-07-30T01:32:44Z) - Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。
本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
論文 参考訳(メタデータ) (2021-04-19T11:48:13Z) - Self-Supervised Pillar Motion Learning for Autonomous Driving [10.921208239968827]
本研究では,点群からの自由監視信号と対カメラ画像を利用した学習フレームワークを提案する。
本モデルでは,確率的運動マスキングを付加した点雲に基づく構造整合性と,所望の自己超越を実現するためのクロスセンサ運動正規化を含む。
論文 参考訳(メタデータ) (2021-04-18T02:32:08Z) - IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。
当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
論文 参考訳(メタデータ) (2021-01-20T00:31:52Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳(メタデータ) (2020-06-04T08:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。